iPhoneでARアプリ用のバイノーラル録音c

昨年末、AppleはARヘッドフォンの特許を取得しました。このヘッドフォンは、いわゆるバイノーラル録音から、リスナーがシーン内の音の正確な位置を正確に特定することを可能にします。これは、電話会議などの現実世界のビデオと、拡張現実シーンの両方に応用できるでしょう。

新しく公開された Apple の特許出願には、このタイプのバイノーラル録音が iPhone で行われていることが示されています…

バイノーラル録音は、ヘッドフォンで聴くために特別に設計されており、特定の方向から来る音をはっきりと聞くことができる、非常に没入感のある体験を提供することを目的としています。

現在、バイノーラル録音は専用のマイクを用いて行われており、その多くはマネキンの頭部に埋め込まれ、可能な限りリアルな音響特性を実現しています。これらの録音は、頭部や耳の形状によって音が受ける影響（ま​​たは「シャドウイング」）を正確に捉えます。

妥協案の一つとして、ヘッドフォンのイヤーカップにマイクを埋め込むという方法があります。同じレベルのリアリティは得られませんが、それでも説得力はあります。

同じことをマイクを近づけて実現するのはハードウェアだけでは不可能だが、Apple の特許出願 ( Patently Appleが発見) には、2 台のカメラと 4 台のマイクを使って音をキャプチャし、その後ソフトウェア処理を使って真のバイノーラル録音をエミュレートする方法が記載されている。

オーディオのバイノーラル録音は、完全な 3D サウンドのキャプチャ手段を容易にします。つまり、正確なサウンド シーンを再現し、ユーザーに「その場にいる」という感覚を与えることができます。これは、音声信号を修正して、リスナーに空間内の任意の地点から音声信号が発信されているという認識を誘発する頭部伝達関数 (HRTF) を使用して、音声入力を空間的にレンダリングすることで実現できます。

このアプローチは、例えば、ユーザーが仮想環境内で視覚と聴覚の両方でインタラクションできる完全なバーチャルリアリティアプリケーションには魅力的ですが、従来のビデオキャプチャアプリケーションでは、3次元サウンドは視聴者の注意を画面から逸らしてしまう可能性があります。一方、モノラルまたは従来のステレオ録音では、十分な没入感が得られない可能性があります[…]

本開示の一側面は、ビデオ録画のマルチチャンネルオーディオ録音に適用される、空間的にバイアスされた収音ビームフォーミング関数を生成する方法に関する。この方法は、目標指向性関数を生成することを含む。目標指向性関数は、空間的にバイアスされた頭部伝達関数の集合を含む。

デバイスのステアリングマトリックスに基づいてターゲット指向性関数の最適な適合を決定することにより、左耳用ビームフォーミング係数セットと右耳用ビームフォーミング係数セットを生成することができる。そして、左耳用ビームフォーミング係数セットと右耳用ビームフォーミング係数セットを出力し、マルチチャンネルオーディオ録音に適用することで、ビデオ録音において、より没入感のある、空間的に偏りのあるオーディオを生成することができる。

最大限の効果を得るには、おそらく2つの技術を組み合わせる必要があるでしょう。つまり、この特許出願の技術で録音された音声を、前の特許出願で説明した技術を搭載したヘッドホンで聴くということです。しかし、普通のヘッドホンでも、ある程度納得のいく体験が得られるかもしれません。

以前のヘッドフォンの特許で説明されたアプローチの主な利点は、頭を回しても認識される位置に影響を与えないことです。

つまり、誰かの顔に「向き合う」ように頭を向けると、ARヘッドフォンは実際の会議室にいるのと同じように音声を調整します。他の人の仮想的な位置も調整されるため、頭をどの方向に向けていても、その人の座っている位置の印象は同じになります。

いつもの免責事項が適用されます：同社は市場に出ない多くの特許を取得しています。しかしながら、AppleはApple Glassesと呼ばれるARヘッドセットの開発に取り組んでいると考えられており、今後2～3年以内に発売される予定です。

slanear.com を Google ニュース フィードに追加します。