Latência dos fones TWS: sincronia no vídeo x atraso do áudio nos jogos

Se você está desenvolvendo fones TWS (true wireless) intra-auriculares para jogos, a sincronia labial na reprodução de vídeo não diz com que rapidez eles vão responder em um jogo. Os mesmos fones podem parecer sincronizados com um vídeo e, ainda assim, em um jogo você vê uma ação antes de ouvir o efeito sonoro. Para entender a diferença, pense em quando o som é produzido e se a imagem pode esperar.

O vídeo pode esperar pelo som; o jogo precisa esperar pela sua ação

Em um vídeo pré-gravado, a imagem e o som já estão disponíveis. O player pode atrasar a imagem até que o som dos fones Bluetooth a alcance. Quando eles se alinham, você percebe áudio e vídeo sincronizados, mesmo que o processamento e a transmissão do áudio continuem levando tempo.

Os efeitos sonoros que respondem a ações como atirar ou pular só são definidos depois que você age. Em seguida, o som percorre toda a cadeia do celular até os fones. Mesmo atrasar a imagem do jogo não encurtaria a espera entre a sua ação e o som dos fones.

No vídeo, você verifica principalmente se imagem e som estão alinhados; nos jogos, verifica também quão rápido o som acompanha a sua ação. Se a compensação de vídeo funciona depende do player e do dispositivo trabalhando juntos, por isso nem todo vídeo vai continuar sincronizado.

Onde o áudio dos jogos sofre atrasos?

O celular codifica os dados de áudio em um formato adequado para a transmissão. Os fones decodificam os dados recebidos para reprodução e depois convertem e amplificam o sinal para que os drivers produzam som. Esse processamento e essa transmissão levam tempo.

No diagrama, buffer significa armazenar um pequeno trecho de áudio antes de reproduzi-lo. Os dados nem sempre chegam em ritmo constante, então o áudio armazenado ajuda a reprodução a continuar sem interrupções; armazená-lo antes da reprodução também acrescenta tempo de espera.

Reduzir o tempo de buffer é uma forma de melhorar a latência. Mas, se pouco áudio for armazenado e os próximos dados não chegarem a tempo, a reprodução pode falhar. Durante o desenvolvimento, verifique tanto a rapidez com que o som responde quanto a continuidade da reprodução.

Qual parte da cadeia um modo de jogo altera depende do projeto real. Ele não consegue prever a sua próxima ação, e uma configuração dos fones, sozinha, não elimina o tempo de processamento no celular ou no jogo.

Defina os requisitos de latência de um novo projeto personalizado

Depois de entender a cadeia, transforme “baixa latência” em três perguntas concretas ao conversar com uma fábrica sobre fones para jogos:

1. Com quais celulares e jogos os fones serão usados principalmente? Especifique os modelos de celular, os sistemas operacionais e os jogos de destino, e se os usuários precisam de chat de voz enquanto jogam. A forma como os fones e o celular funcionam juntos afeta o caminho real do áudio.
2. Qual parte da espera este projeto pode reduzir? Peça à fábrica que use a cadeia de sinal para explicar quais atrasos de processamento ou de buffer o modo de jogo altera e se o celular de destino consegue realmente aproveitar esse projeto. Se você está considerando LE Audio (Bluetooth Low Energy Audio), verifique o suporte tanto no celular quanto nos fones, assim como a conexão realmente usada; o número da versão do Bluetooth não garante essas condições.
3. Onde começa e onde termina a medição da latência? O tempo gasto em uma etapa do chip ou do codec é diferente do tempo total entre a sua ação e a saída de som dos fones. Combine os pontos inicial e final da medição e as condições de teste antes de discutir um valor-alvo. Compare amostras com o modo ligado e desligado usando o mesmo celular e o mesmo jogo, teste separadamente o uso com chat de voz e verifique também se o áudio falha.

A Yinshidon oferece a personalização completa de modelos intra-auriculares: fones totalmente sem fio. Em um novo projeto, esclareça primeiro essas condições de uso e o projeto de áudio e depois confirme o desempenho real com amostras. A sincronia labial na reprodução de vídeo verifica o alinhamento entre áudio e vídeo; a resposta do som nos jogos ainda precisa ser verificada nos cenários de jogo combinados.

Base técnica: a entrevista técnica do Bluetooth SIG sobre latência de áudio e a documentação do Android sobre latência de áudio e desenvolvimento de áudio de baixa latência para jogos.