As novas personas do Vision Pro são uma grande melhoria, mas como elas serão escaladas para fones de ouvido menores?

A Apple está trazendo uma enorme atualização visual para seus avatares de persona no Vision Pro no Visionos 26. Depois de ver o novo sistema em primeira mão, é difícil não ficar impressionado. Mas permanece uma questão importante – como a Apple superará o desafio de trazer esse nível de fidelidade a fones de ouvido menores com ainda menos espaço para as câmeras essenciais para esse tipo de tecnologia?

Personas em Visionos 26 Levante a fasquia ainda mais

O sistema persona existente no Visionos 2 já era o sistema de avatar virtual em tempo real mais realista disponível no mercado. Mas a Apple está elevando seu próprio bar com uma atualização de persona que está chegando ao Visionos 26. Na verdade, a empresa está tão feliz com os resultados que eles estarão removendo a tag “beta” do recurso Persona.

Na WWDC, na semana passada, experimentei a nova tecnologia de persona e devo dizer que parece tão bom quanto eles se exibiram em suas imagens iniciais de revelação.

https://www.youtube.com/watch?v=irgpj4ojphm

Embora use o mesmo procedimento de captura, as mesmas câmeras no fone de ouvido e ainda processassem tudo no dispositivo, os resultados são claramente melhorados. A pele parece muito mais detalhada; Fiquei particularmente impressionado com a maneira como ele capturou minha barba porra. O cabelo na cabeça também é mais detalhado.

Mas talvez até mais do que isso, o sistema persona da Apple captura o movimento do rosto com detalhes impressionantes. Você pode me ver movendo meu rosto de maneiras incomuns e assimétricas, mas os resultados ainda parecem sutis e realistas. Na verdade, não está claro se o mapeamento de movimento foi atualizado com esta nova versão do Personas, ou se simplesmente parece mais realista porque a varredura subjacente agora é mais detalhada.

Apple também confirmou para Estrada para VR que essas melhorias são transferidas para a versão da persona usada na tela de ‘visão’ externa. E embora o brilho e a resolução da tela externa sejam em grande parte o fator limitante agora, a persona exibida na parte externa do fone de ouvido deve parecer um pouco mais detalhada e realista.

No geral, a sensação de personas que parecem ‘fantasmagóricas’ é bastante reduzida. No entanto, as mãos ainda parecem fantasmagóricas (e talvez até mais do que o faria, já que agora existe um maior contraste entre o embaçamento das mãos e a solidez do rosto).

Como essa escala para fones de ouvido menores?

Este é um salto óbvio na qualidade visual das personas, mas uma grande pergunta que agora está em minha mente é: como a Apple será capaz de manter essa barra de qualidade em fones de ouvido menores no futuro?

Não é apenas que um fone de ouvido mais compacto precisará ser mais eficiente em termos de energia para fazer a mesma quantidade de computação em um pacote menor. Nem é simplesmente que um fone de ouvido menor significa menos espaço para encaixar câmeras.

A principal coisa que torna as personas possíveis em primeiro lugar é que as câmeras no fone de ouvido têm linha de visão da boca, bochechas e olhos do usuário. Esta é a visão crua da ‘verdade do solo’ que precisa ser interpretada para descobrir com precisão como mapear o movimento do rosto no avatar virtual.

Isso não é muito difícil se você tiver uma imagem completa do rosto de alguém. Mas torna -se cada vez mais desafiador à medida que o ângulo da vista se torna mais extremo. É por isso que a tecnologia de rastreamento de rosto precoce geralmente tinha uma câmera que pendura caminho na frente do usuário (para que ele possa ter uma visão clara e não distorcida).

Até alguns complementos modernos de fone de ouvido com rastreamento de rosto ainda penduram a câmera muito longe do rosto para uma visão mais clara.

Se você deseja fazer um fone de ouvido menor, as câmeras acabam se aproximando do rosto. Isso significa que os dados da ‘verdade fundamental’ provenientes das câmeras são de um ângulo extremamente nítido. Quanto mais nítido esse ângulo, mais difícil é mapear o movimento para o rosto do usuário.

Mas as empresas ficaram inteligentes. Para fones de ouvido como o Quest Pro e o Vision Pro, uma opção para enfrentar essa questão da verdade do ‘ângulo agudo’ é treinar um algoritmo, deixando -o ver uma visão clara do rosto do usuário e uma visão de ângulo nítido do rosto ao mesmo tempo. Isso permite que o algoritmo preveja melhor como a visão clara é mapeada para a visualização de ângulo nítido.

Esse tipo de abordagem funciona para fones de ouvido como Quest Pro e Vision Pro, que ainda se destacam o suficiente para que as câmeras voltadas para baixo possam ver o suficiente para fazer o trabalho com algum treinamento extra.

Mas a direção futura dos fones de ouvido está apontando para dispositivos do tamanho de óculos e até do tamanho de óculos. Já podemos ver isso em fones de ouvido PC VR como a Bigscreen Beyond, onde fica claro que mesmo montar uma câmera na borda mais distante do fone de ouvido não faria uma visão particularmente clara da boca. E à medida que diminuímos ainda mais, a vista ficará completamente ocluída.

A única vantagem aqui é que o rastreamento dos olhos é provavelmente seguro por um longo tempo. Como o XR é mediado principalmente pelos olhos, quase sempre haverá um ângulo de bom tempo para as câmeras de rastreamento ocular para ver os movimentos oculares do usuário.

Mas os avatares realistas são claramente algo que as pessoas querem para se comunicar remotamente em XR. Fazer isso acontecer exigirá rastreamento completo, não apenas rastreamento ocular.

Continue na página 2: uma solução possível »