音空間の収音・伝送・再生システムの実現

目的

ある空間で音を聴取したときに得られる感覚を、別の空間でバーチャルに再現するシステムを研究しています。例えば、自宅でオーケストラの演奏をあたかもホールで聴いているかのように楽しむことができたり、遠隔会議でありながら同じ空間で会話をしているかのように円滑なコミュニケーションが可能となったりなど、様々な応用が考えられます。

研究内容

全体像

通常の空間には複数の音源があり、聴取者は様々な位置（方向・距離）から到来する音を聴取しています。そのような3D音空間を再現するには、空間的な情報を含めて収音する必要があります。また、そのような情報を損なうことなく伝送し適切に再生する必要もあります。そこで、本研究では、収音・伝送・再生のそれぞれについて検討を進めています。

収音に関する研究

聴取者に向かって様々な方向から到来する音信号を模擬するために、ある音空間（原音場）において、到来音を方向ごとに分離してキャプチャするような収音を行います。本研究では、マイクロホンアレイを用いてビームフォーミング処理によって方向別に音を分離する方法を検討しています。現在は、主に分離精度の向上や聴覚の性質を踏まえた処理について研究しています。

伝送・再生に関する研究

本システムでは、ビームフォーミングによって分離された信号を仮想音源として聴取者の周囲に配置することで、原音場で聴取者の両耳に入射する音を合成することを考えています。仮想音源の実現には、音源から鼓膜までの音の伝達特性である頭部伝達関数（head-related transfer function, HRTF）を用いて行っています。現在は、聴覚特性を踏まえてデータ量を削減した伝送を実現するための符号化の研究や、両耳信号のレンダリングにおいて計算負荷を低減し効率的に処理する手法の検討を行っています。一部の内容は企業との共同研究で実施しています。