A entrada eficiente de texto sem um teclado real continua sendo um desafio em todo o setor para desbloquear casos de uso da produtividade nos fones de ouvido XR. Os pesquisadores criaram um catálogo abrangente das técnicas de entrada de texto existentes para codificar diferentes métodos e analisar seus prós e contras. Ao disponibilizar o catálogo livremente, os pesquisadores esperam dar aos outros uma vantagem na criação de técnicas novas e aprimoradas.
Artigo de convidado de Max di Luca
Massimiliano di Luca lidera o VR Lab na Universidade de Birmingham, Reino Unido, onde é professor associado na Escola de Psicologia e na Escola de Ciência da Computação. Anteriormente, ele trabalhou na Meta, onde foi pioneiro no trabalho disponível e hápticos para a RV. Sua colaboração mais recente com a indústria foi recentemente reconhecida pelo ACM Sigchi 2025 Awards Para pioneiros, a estrutura de interação do Android XR por meio de colaboração exemplar-academia da indústria, estabelecendo métodos de entrada fundamentais e diretrizes de interação para sistemas operacionais de XR.
À medida que as experiências imersivas se tornam cada vez mais sofisticadas, o desafio da entrada de texto eficiente continua sendo uma barreira crucial à interação perfeita na realidade virtual e aumentada (VR/AR). Desde a composição de e-mails em espaços de trabalho virtuais até o login e a socialização no metaverso, a capacidade de inserir texto com eficiência é essencial para a usabilidade de todas as aplicações em realidade estendida (XR).
Para enfrentar esse desafio, minha equipe do VR Lab da Universidade de Birmingham (Reino Unido), juntamente com pesquisadores da Universidade de Copenhague, Universidade Estadual do Arizona, do Instituto Max Planck de Sistemas Inteligentes, da Northwestern University e do Google desenvolveu o XR Texto Trove– Uma iniciativa abrangente de pesquisa que cataloga mais de 170 técnicas de entrada de texto adaptadas para XR. O texto é um repositório estruturado de técnicas de entrada de texto e uma série de filtros que visam selecionar e destacar os prós e contras da amplitude dos métodos de entrada de texto desenvolvidos para XR na academia e na indústria.
Essas técnicas são categorizadas usando um intervalo de 32 códigos, incluindo 13 atributos de interação, como dispositivo de entrada, parte do corpo (para entrada), simultaneidade e modalidade de feedback háptico, bem como 14 métricas de desempenho como palavras por minuto (WPM) e taxa de erro total (TER). Em suma, o número de técnicas e extensividade dos atributos fornecem uma visão geral abrangente das técnicas de entrada de texto do estado de XR.
https://www.youtube.com/watch?v=skcixlg3r30
Várias manchas importantes podem ser supotadas de nossa pesquisa. Em primeiro lugar, o desempenho da entrada de texto é inerentemente limitado pelo número de elementos de entrada (sejam dedos, controladores ou outros seletores de caracteres). Somente a digitação de vários dedos pode levar ao desempenho comparável à velocidade de toco com um teclado em PCs regulares. Conforme visualizado nas parcelas abaixo, cada elemento de entrada adicional (ou dedo) adiciona cerca de 5 WPM Speed aos principais usuários.
Palavras por minuto usando vários dedos e diferentes dispositivos de entrada. (Cada ponto representa uma técnica analisada no estudo).
Nossa pesquisa também indica que o feedback háptico, a presença de superfícies externas e a visualização somente de ponta dos dedos são maneiras preferíveis de melhorar o desempenho da digitação. Por exemplo, digitar superfícies (em vez de no ar) contribui para uma experiência de digitação mais confortável e potencialmente mais eficiente. As superfícies externas também minimizam a tensão muscular sustentada, tornando as interações mais confortáveis e reduzindo o início da síndrome do braço de gorila.
Finalmente, e mais interessante, a partir de hoje, nenhuma alternativa substituiu completamente o formato do teclado, provavelmente porque ainda oferece as palavras mais altas por minuto. Talvez porque também exija altas curvas de aprendizado. Acreditamos que o caminho principal para uma digitação mais rápida no VR do que o PC pode estar na necessidade de reduzir as distâncias de viagem em um teclado com vários dedos via Machine Learning e IA. O XR precisa de seu próprio momento de ‘Swipe digiting’, o que tornou a digitação de um dedo nos smartphones muito mais eficiente.
Nesse sentido, o mergulho profundo do texto de XR representa um passo significativo em direção a um entendimento mais abrangente da entrada de texto na realidade virtual e aumentada. Ao fornecer um banco de dados estruturado e pesquisável, pretendemos oferecer um recurso para pesquisadores e desenvolvedores, abrindo caminho para soluções de entrada de texto mais eficientes e fáceis de usar no futuro imersivo.
Como explicamos em nosso artigo, este trabalho tem o potencial de beneficiar significativamente a comunidade XR: “Para apoiar a pesquisa e o design da XR nessa área, fabricamos o banco de dados e a ferramenta associada disponível no XR Texto Trove site. O artigo completo será apresentado na prestigiada conferência ACM Chi no próximo mês em Yokohama, Japão.
Vários autores de nossa equipe são co-criadores do cofre de locomoção, que cataloga as técnicas de locomoção VR da mesma forma, em um esforço para oferecer a pesquisadores e designers um start-start para identificar e melhorar vários métodos.
