O Quest Devs agora pode publicar aplicativos que usam as câmeras do fone de ouvido para digitalizar o mundo

Embora a missão de Meta sempre tenha confiado muito nas câmeras para rastrear o local do fone de ouvido, controladores e o mundo ao redor do usuário, os desenvolvedores não tiveram o mesmo acesso privilegiado às câmeras do fone de ouvido. No início deste ano, a Meta deu aos desenvolvedores a capacidade de experimentar o acesso direto às câmeras do fone de ouvido em projetos privados; A partir desta semana, os desenvolvedores agora podem lançar publicamente aplicativos que usam o novo recurso.

Atualização desta semana do API da câmera de passagem para missão significa que os desenvolvedores agora podem publicar aplicativos na loja Horizon que acessam diretamente as câmeras frontais das Quest 3 e 3s. Isso abre a porta para aplicativos de terceiros que podem examinar o mundo ao redor do usuário para entender mais sobre isso. Por exemplo, os desenvolvedores podem adicionar recursos de visão de computador para rastrear objetos ou pessoas na cena ou criar um mapa do ambiente para análise e interação.

Durante muito tempo, isso era impossível devido a meta de limitações colocadas sobre o que os desenvolvedores poderiam e não poderiam fazer com o hardware do fone de ouvido. Apesar dos recursos de visão de computador estarem amplamente disponíveis para os desenvolvedores em smartphones, a Meta hesitou em permitir o mesmo em seus fones de ouvido, aparentemente devido a preocupações com a privacidade (e certamente amplificadas pelas muitas controvérsias de privacidade que a empresa enfrentou no passado).

Anteriormente, aplicativos de terceiros podiam aprender algumas informações sobre o mundo em torno do usuário-como a forma da sala e os objetos dentro dela-, mas essas informações foram fornecidas pelo sistema de uma maneira que impedia os aplicativos de ver diretamente o que as câmeras podiam ver. Isso possibilitou que os desenvolvedores criem aplicativos de realidade mista que, até certo ponto, cientes do espaço ao redor do usuário. Mas tornou alguns casos de uso difícil ou mesmo impossíveis; Por exemplo, rastreando um objeto específico mantido pelo usuário.

No ano passado, a Meta anunciou que finalmente desbloquearia o acesso direto às câmeras do fone de ouvido. Em março, começou a oferecer uma versão experimental da capacidade aos desenvolvedores, permitindo que eles criem aplicativos que acessavam as câmeras do fone de ouvido. Mas eles não tinham permissão para publicar esses aplicativos ao público, até agora.

A empresa também especificou os recursos técnicos e o desempenho das câmeras que os desenvolvedores podem acessar no Quest 3 e 3s:

• Latência de captura de imagem: 40-60ms
• AVISO GPU: ~ 1-2% por câmera transmitida
• Sobrecarga da memória: ~ 45 MB
• Taxa de dados: 30Hz
• Resolução máxima: 1280 × 960
• Formato de dados interno YUV420

Meta diz que o uso dos dados da câmera por um desenvolvedor na missão é coberto por seu Política de uso de dados do desenvolvedorincluindo uma seção em “Usos proibidos dos dados do usuário”, Que proíbe certos usos de dados, incluindo“ executar, facilitar ou fornecer ferramentas para vigilância ”e“ identificar exclusivamente um dispositivo ou usuário, exceto conforme permitido [in the policy]. ”