Дополненная или виртуальная реальность будет неполной (уж простите за тавтологию) без реалистичного звука, который, например, мог бы стать хорошим дополнением для систем, подобных Oculus Rift. Разработчики обычно сосредоточены над созданием более реалистичного изображения, очень часто забывая о том, что у человека пять органов чувств, а для более полной иллюзии дополненной реальности стоит задействовать хотя бы два: зрение и слух. Вероятно, обоняние и тактильные ощущения – это следующие этапы работы над дополненной реальностью.
Сегодня в Microsoft задумались о существовании этой проблемы и стали активно работать над созданием объемного звучания.
Новая технология от Microsoft призвана рассчитывать изменение положения наблюдателя по отношению к каждому источнику звука. Программа учитывает даже те источники звука, которые находятся вне поля зрения наблюдателя. Постоянная подстройка звуковой панорамы происходит по мере движений игрока, выполнения им поворотов и наклонов головы.
Секрет в том, что перед началом работы пользователь, расположившись в наушниках перед датчиком движения Kinect, калибрует систему. Программа строит трёхмерную модель головы и постоянно пересчитывает звуковую картину, приводя её в соответствие с положением игрока. Это сильно отличается от простейших алгоритмов балансировки громкости правого и левого канала, когда трудно уловить разницу между объектом впереди и позади человека. Данную проблему хорошо иллюстрирует видеоролик, размещенный ниже.
Новая методика Microsoft может использоваться для систем как виртуальной, так и дополненной реальности.