音情報処理研究室

“あたかもその場に居るかのような”非常に高い臨場感を提供したり、VR(仮想 現実)やAR(拡張現実)に役立てられる音作りを研究し ています。例えば自分 の部屋に居ながらにして、著名なコンサートホールで演奏を聴いているかのよ うな、あるいはサッカースタジアムで本当に試合を観戦しているかのような体験 を実現するための、収音、伝送、再生技術の研究を進めています。
articial intelligence

メンバー

研究内容

聴覚的特徴を生かした音信号処理

articial intelligence articial intelligence articial intelligence

本研究室では,音を媒介とする聴覚情報の処理の仕組みを解明し,それを様々な システムに応用することを目的とした研究を行っています.

人間は,外界の情報を五感を用いて知覚することで日常の活動を行っています. 音を処理することで,人間に利益をもたらす典型的なものとして補聴器が考え られます.補聴器は,視覚でいうのであれば,眼鏡に相当するツールと言えます. 眼鏡は,網膜上に光を結像させるために,屈折の度合いを調整しています.一 方, 補聴器は,小さい音が聞こえなくなるように衰えた聴覚機能を補うための 増幅を行っています.どちらのツールであっても,最適に調整を行うためには, 視覚や聴覚の仕組みを把握した上で,個々人の特性を測定し,それを眼鏡や補 聴器に反 映させなければなりません. 例として補聴器を挙げましたが,映画やオーディオのようなエンターテイメン トの分野でも,同様のことが言えます.つまり,人の生活の質を向上させる技術 を構築するためには,人の知覚の過程や性質についてよく知る必要があり,また, それを効果的に活用するために信号処理を初め,様々な技術が必要となります.

本研究室では,音響信号処理,バーチャルリアリティ,音場の収録・再生システ ム,拡声システム,異常検知など様々なテーマにおいて,以上のスタンスに基づ き,基礎研究,システムの開発を行うことを目指しています.

外部研究資金・共同研究

外部研究資金

  • 2020-2022: 科研費基盤研究C(一般)「独居老人の見守りを目的とした適応型異 常検知システム実装に関する研究」(代表者 安倍幸治)
  • 2019-2021: 科研費基盤研究C(一般)「3次元音場における新たな聴覚のモデル 化とAR・VRのための符号化・強調への応用」(代表者 西口正之,分担者 渡邉 貫治)
  • 2019-2021: 科研費基盤研究C(一般)「耳から耳へと音空間を伝える収音・再生 システムの開発」(代表者 渡邉貫治,分担者 西口正之)
  • 2019-2021: 科研費基盤研究C(一般)「時空間スペクトルにおける特異点に着目 した音源分離手法の開発」(分担者 渡邉貫治)
  • 2018-2021: 科研費基盤研究C(一般)「電子情報技術の理解を深める子ども向け プログラミング教材の作成」(分担者 渡邉貫治)
  • 2017-2019: 科研費基盤研究C(一般)「個人の頭部伝達関数取得のためのプラッ トフォームの構築とその評価」(代表者 高根昭一)
  • 2016-2018: 「頭部伝達関数(HRTF)に関するデータ取 得とその個人性に関する研 究」(研究機関代表者:西口正之,研究分担者: 高根昭一,渡邉貫治,安倍幸治 )
  • 2015-2018: 科研費基盤研究(C)「聴覚ディスプレイに基づくウェアラブルな音 空間集音・再生システムの開発」(研究代表者 渡邉貫治)
  • 2013-2015: 科研費若手研究(B)「音源位置に対応して音の聞こえる方向を動的に 制御可能な拡声システムの開発」(代表者 安倍幸治)

学内研究資金

  • 2019: 学長プロジェクト(科研費チャレンジ)「独居老人の見守りを目的とした異 常検知システムの開発と評価」(代表者 安倍幸治)
  • 2018: 学長プロジェクト(科研費チャレンジ)「設置環境に適応する異常音検知シ ステムの開発と評価」(代表者 安倍幸治)
  • 2018: 部局提案型研究推進事業「農工連携によりカモのポテンシャルを引き出す 新アイガモ農法の研究」(分担者 西口正之,渡邉貫治)
  • 2017: 学長プロジェクト(科研費チャレンジ)「3次元音場における新たな聴覚の モデル化とそのAR・VRのための符号化への応用」(代表者 西口正之)

受賞

  • 日本音響学会2017年秋季研究発表会学生優秀発表賞「混合ガウス分布モデルを用 いた発生確率による音響イベント検出システムに関する一検討」(受賞者: 原 萌子,安倍 幸治,渡邉 貫治,高根 昭一,西口 正之)

研究業績

査読付きジャーナル論文

  • Kenji Ozawa, Kanji Watanabe, Syuichi Sakamoto, "Suppression of Two Noise Sources in the Same Direction by Instantaneous Spectral Subtraction", IEEE 8th Global Conference on Consumer Electronics (2019.10)
  • Kenji Ozawa, Masanori Morise, Syuichi Sakamoto, Kanji Watanabe, "Sound Source Separation by Spectral Subtraction Based on Instantaneous Estimation of Noise Spectrum", 6th International Conference on Systems and Informatics (2019.11)
  • Shouichi Takane, Keisuke Sakamoto, Koji Abe, Kanji Watanabe and Masayuki Nishiguchi, "Subjective evaluation of Head-Related Transfer Functions reconstructed with Spatial Principal Component Analysis and their domain dependency," Proc. 23rd International Congress on Acoustics, 1-8(2019.9).
  • Shouichi Takane, "Spstial Principal Component Analysis of Head-Related Transfer Functions using their complex logarithms with unwrapping of phase," Proc. 23rd International Congress on Acoustics, 1-8(2019.9).
  • Kanji Watanabe, Shouichi Takane, Koji Abe, "Effect of reducing data amount by reducing quantization resolution of head-related impulse responses on sound localization," Acoust. Sci. & Tech., Vol. 39(4), 316-319(2018).
  • Masayuki Nishiguchi, Ayumu Morikawa, Yuya Ishii, Kanji Watanabe, Koji Abe, and Shouichi Takane, "Sound Source Separation and Synthesis for Audio Enhancement based on Spectral Amplitudes of Stereo Signals" , Journal of Information Hiding and Multimedia Signal Processing, Vol. 8, No. 6, pp. 1362-1371, November (2017).
  • Shouichi Takane, "Estimation of Individual Head-Related Impulse Responses from Impulse Responses Acquired in Ordinary Rooms based on the Spatial Principal Components Analysis," Journal of Information Hiding and Multimedia Signal Processing, Vol. 8, No. 6, pp. 1405-1419, November (2017).
  • Shouichi Takane, "Effect of domain selsetion for compact representation of spatial variation of Head-Related Transfer Function in all directions based on Spatial Principal Components Analysis," Applied Acoustics, Vol. 101, 64-77 (2016.1).
  • 渡邉貫治,及川祐亮,佐藤宗純,高根昭一,安倍幸治,"GPUを用いた複数の仮想 音源を動的に提示可能な聴覚ディスプレイシステムの開発及び性能評価," 日本 音響学会誌, Vol. 71(11), 571-579(2015).
  • Koji ABE, Shouichi TAKANE, Sojun SATO, "Investigation on Influence of Additional Sound on Comfortableness of Living Environment," Interdisciplinary Information Sciences, Vol. 21, No. 2, p.151-157 (2015).

査読付き国際会議論文

  • Masayuki Nishiguchi, Kazuki Ishimoto, Kodai Kato, Kanji Watanabe, Koji Abe, and Shouichi Takane, "Spatial auditory masking caused by phantom sound images", 148th AES Convention, New York (2020.10).
  • Masayuki Nishiguchi, Kodai Kato, Kanji Watanabe, Koji Abe and Shouichi Takane,"Spatial auditory masking for three-dimensional audio coding", 147th AES Convention, New York (2019.10)
  • Shouichi Takane, "Estimation of individual HRIRs based on SPCA from impulse responses acquired in ordinary sound field," Proc. 139th AES Convention, Paper No. 9422, 1-9 (2015.10).

著書 (執筆分担)

  • 渡邉貫治,暦本 純一 他,「オーグメンテッド・ヒューマン Augmented Human ―AIと人体科学の融合による人機一体、究極のIFが創る未来」,エヌ・ティー・ エス,pp. 211-218 (2018.1).

会誌論文、解説論文

  • 西口正之, "音声・音響符号化技術の基礎", 日本音響学会誌, Vol. 76 No. 6, pp. 337-342 (2020).

その他の論文(紀要, 報告書など)

  • 安倍幸治, 大槻和果葉, 高根昭一, 西口正之, 渡邉貫治, "異常検出システムの ための音信号自動分割アルゴリズムに関する検討", 秋田県立大学ウェブジャー ナルB(研究成果部門), Vol. 6, pp. 43-49 (2019-09-30)

その他の論文(講演,口頭発表, デモセッションなど)

  • 清水一稀, 安倍幸治, 西口正之, 高根昭一, 渡邉貫治, "受聴者に対する発話者 の方向による音声の周波数特性の変化について", 日本音響学会 春季研究発表 会 (2021.3).
  • 水谷勇貴, 三浦壮騎, 西口正之, 高根昭一, 渡邉貫治, 安倍幸治, "sinusoidal 合成による波形再現性を有するボコーダに関する検討", 日本音響学会 春季研 究発表会 (2021.3).
  • 水谷勇貴, 西口正之, "sinusoidal 合成による波形再現性を有するボコーダに関 する検討", 令和2年度本荘由利テクノネットワーク【学生×企業】事業, B-11 (2021.2).
  • 高根昭一, 安倍幸治, 西口正之, 渡邉貫治, "聴覚モデルに基づく空間的マスキ ング効果の推定の試み",電子情報通信学会技術報告, 120(128), EA2020-17, 23-27(2020.8).
  • 小澤賢司, 渡邉貫治,坂本修一, "瞬時スペクトル推定法による同一到来方向の複 数音源の分離に関する考察", 日本音響学会 秋季研究発表会 (2020.9).
  • 渡邉貫治, 西口正之, 高根昭一, 安倍幸治, "音空間収音における低域のビーム フォーミング処理の有無の聴感への影響", 電子情報通信学会技術報告, 120(128), EA2020-16, 15-22(2020.8).
  • 山中佑馬, 西口正之, 渡邉貫治, 高根昭一, 安倍幸治, "量子化雑音の知覚に対 する空間的マスキング効果の影響", 電子情報通信学会技術報告, 120(128), EA2020-18, 29-34(2020.8).
  • 山中佑馬,西口正之,渡邉貫治,高根昭一,安倍幸治,"空間的マスキング効果に 基づく3D音響符号化に関する検討", 日本音響学会 春季研究発表会 (2020.3)
  • 渡邉貫治,西口正之,高根昭一,安倍幸治, "音空間収音において低域に適用す るビームフォーミング処理の聴感への影響", 日本音響学会 春季研究発表会  (2020.3)
  • 小澤賢司,渡邉貫治,坂本修一,"瞬時スペクトル減算法による同一到来方向の2 雑音源の抑制に関する考察",日本音響学会 春季研究発表会 (2020.3)
  • 安倍幸治,長屋省吾,西口正之,市川勉,中屋秀雄,載憲,三代川智慎,渡邉貫 治,高根昭一,"トランスオーラルによるスイートスポットの拡張に関する基礎 検討",日本音響学会 春季研究発表会 (2020.3)
  • Masumi Hashimoto, Hirokazu Madokoro, Kanji Watanabe, Masayuki Nishiguchi, "Mallard Detection using Microphone Array and Delay-and-Sum Beamforming", 19th International Conference on Control, Automation and Systems (2019.10)
  • 三浦壮騎,西口正之,渡邉貫治, 高根昭一, 安倍幸治," 位相情報を考慮した音 声分析合成手法の検討", 電気関係学会 東北支部大会 (2019.9)
  • 山中佑馬,西口正之,安倍幸治, 渡邉貫治,高根昭一,"WaveNet の符号化への 応用のための基礎検討", 電気関係学会 東北支部大会 (2019.9)
  • 高根昭一,"頭部伝達関数の音源位置による変化の複素対数領域における主成分 分析 -位相成分の重み付けに関する検討-",日本音響学会秋季研究発表会 (2019.9).
  • 安倍幸治,大槻和果葉,高根昭一,西口正之,渡邉貫治,"ベイズ情報量規準に よる音響イベント自動分割の精度向上に関する検討",信学技報,119(163), 27-33(2019.8)
  • 西口正之, "聴覚のマスキング効果と 音声・音響符号化", 日本音響学会 2019 年春季研究発表会, 電気通信大学 (2019.3) (招待講演)
  • Masayuki Nishiguchi, "Remixing of sound sources separated from stereo tracks and its subjective evaluation," 2018 International Symposium for Advanced Computing and Information Technology, Sun Moon Lake, Taiwan, Aug 2018 (Invited Talk)
  • Masayuki Nishiguchi," Examination of human auditory masking and improved audio coding efficiency," 2018 Conference on Intelligent Computing, Communication & Applied Technologies, Zhuhai China, Dec 2018 (Invited Talk)
  • 高根昭一, 高橋幸太, 安倍幸治, 渡邉貫治, 西口正之, "3D スキャナ・3D フ?リ ンタを利用した個人の頭部伝達関数の取得", 第23回日本バーチャルリアリティ 学会大会論文集, 11B-3, 1-4 (2018.9).
  • 高根昭一, "頭部伝達関数の音源位置による変化の複素対数領域における主成分 分析", 日本音響学会講演論文集, 305-308(2019.3).
  • 渡邉貫治, 多田優希, 西口正之, 高根昭一, 安倍幸治, "音空間収音におけるビ ームフォーミングの適用帯域と音像定位への影響, " 日本音響学会講演論文集, 407-410(2019).
  • 小池遥, 石井佑哉, 西口正之, 渡邉貫治, 安倍幸治, 高根昭一, "2ch ステレオ コンテンツからの分離音源を用いたリミックスとそのプリファレンス評価", 情 報処理学会研究報告Vol. 2018-MUS-119, No.60 (2018.6).
  • 加藤巧大, 西口正之, 高根昭一, 渡邉貫治, 安倍幸治, " 3D音響符号化のための 空間的マスキング効果に関する検討", 日本音響学会講演論文集, pp.389-390 (2018).
  • 加藤巧大, 西口正之, 渡邉貫治, 高根昭一, 安倍幸治, "聴覚の空間的マスキン グ効果を考慮した3D音響信号の符号化に関する基礎検討", IEICE Technical Report EA2018-145, SIP2018-151, SP2018-107 (2019.3).
  • 大槻和果葉, 安倍幸治, 高根昭一, 西口正之, 渡邉貫治, "ベイズ情報量基準に よる音響イベントの自動分割に関する検討", 聴覚研究会資料, Vol. 48, No.6, 503-508 (2018.8).
  • 安倍幸治, 原萌子, 高根昭一, 西口正之, 渡邉貫治, "混合ガウス分布に基づく 日常音の発生確率を元とした異常音検知に関する検討", 聴覚研究会資料, Vol. 48, No.6, 495-502 (2018.8).
  • 大槻和果葉, 安倍幸治, 高根昭一, 西口正之, 渡邉貫治, "ベイズ情報量基準に よる音響イベントの自動分割に関する基礎検討", 日本音響学会講演論文集, 1-P-4, 255-256 (2018.9).
  • 伊藤雅紀, 安倍幸治, 今誉, 渡邉貫治, 西口正之, 高根昭一, "立体的な仮想空 間の構築と同空間における音響実験シミュレート環境の開発, " 東北地区音響学 研究会 (2018.11).
  • 大槻和果葉, 安倍幸治, 高根昭一, 西口正之, 渡邉貫治, "ベイズ情報量規準に よる音響イベントの自動分割の評価", 日本音響学会講演論文集, 2-Q-21, 367-368 (2019.3).
  • 西口正之, "オーディオ信号の圧縮符号化", 第12回技術動向レビュー 日本音響 学会 2018年春季研究発表会, 日本工業大学 (2018.3) (招待講演)
  • 渡邉貫治,"音で臨場感を創るための基礎知識," 音学シンポジウム2017(第115 回 音楽情報科学研究会)お茶の水女子大学 (2017.6)(チュートリアル講演).
  • Masayuki Nishiguchi, "Sound Source Separation and Synthesis for Audio Enhancement ," 2017 Conference on Intelligent Computing, Communication & Applied Technologies, Haikou China (Dec. 2017) (Invited talk)
  • 高根昭一,土屋将太,安倍幸治,渡邉貫治,西口正之,"異なる刺激音のもつ響 きの比較に関する基礎的検討",第22回日本バーチャルリアリティ学会大会論文 集,3A2-04,1-4 (2017.9)
  • 大野拓磨,渡邉貫治,西口正之,高根昭一,安倍幸治,"ビームフォーミングを 用いた空間サンプリングのためのフィルタ設計に関する検討," 信学技報, vol. 117(399), 7-14 (2018)
  • 大野拓磨,渡邉貫治,西口正之,高根昭一,安倍幸治,"マイクロホンアレイを 用いた方向別収音のためのフィルタ設計に関する検討," 日本音響学会講演論文 集, 709-710 (2017)
  • 加藤巧大,西口正之,渡邉貫治,安倍幸治,高根昭一,"ビームフォーミングに より収音された 3D 音響信号の符号化に関する研究," 日本音響学会講演論文集, 523-524 (2017)
  • 石井佑哉,西口正之,渡邉貫治,高根昭一,安倍幸治,"高臨場感再生のための 2chステレオ信号からの音源分離手法の検討," 日本音響学会講演論文集, 711-712 (2017)
  • 原萌子,安倍幸治,渡邉貫治,高根昭一,西口正之,"時刻を考慮したGMM音刺激 分類システムに関する検討," 日本音響学会講演論文集, 713-714 (2017)
  • 加藤巧大,西口正之,渡邉貫治,安倍幸治,高根昭一,"ビームフォーミングに より収音された音信号の合成における波形再現性に関する検討," 電気関係学会 東北支部連合大会,2G09(in CD-ROM),(2017)
  • 伊藤雅紀,安倍幸治,渡邉貫治,西口正之,高根昭一,"仮想空間内で展開でき る視聴覚実験環境の試作," 電気関係学会東北支部連合大会,2G10(in CD-ROM), (2017)
  • 石井佑哉,西口正之,渡邉貫治,高根昭一,安倍幸治,"アップミックスのため のステレオ音楽信号からの音源分離手法の検討," 電気関係学会東北支部連合大 会,2G13(in CD-ROM),(2017)
  • 宇田川祥太,安倍幸治,高根昭一,西口正之,渡邉貫治,"先行音効果を考慮し た拡声時の音像定位方向の推定に関する検討",聴覚研究会資料,H-2016-8, p.29-34 (2016.2).
  • 安倍幸治,宇田川祥太,高根昭一,渡邉貫治,西口正之,"先行音効果を利用し た拡声システムにおける音像方向推定に関する検討",音講論,2-P-43 (2016.3).
  • 高根昭一,"反射を含むインパルス応答と主成分分析を用いた個人の頭部伝達関 数の推定," 音講論,2-P-2,1-4 (2015.9).

修士論文

2020年度

  • 聴覚の空間的マスキング効果の音響符号化への応用に関する研究

2019年度

  • 音信号の観測を通じた混合ガウス分布に基づく異常検知システムの開発
  • 声質変換のための波形再現性を有するボコーダの検討

2018年度

  • ユーザーの能動的動作に対応可能な視聴覚仮想環境の構築と評価
  • 聴覚の空間的マスキング効果を考慮した3D音響信号の符号化に関する研究
  • 2チャンネルステレオ信号のための音源分離手法の検討

卒業論文

2020年度

  • スピーカ再生とヘッドホン再生による空間的マスキング効果に関する検討
  • 統計モデルに基づく異常検知システムの評価と改善
  • 複数音源存在下のバイノーラル収音信号の個人性に関する研究
  • TSPの重複提示による頭部伝達関数の測定時間短縮に関する検討
  • 聴覚モデルに基づく空間的マスキング効果の推定に関する研究
  • 音空間収音再生におけるマイクロホンアレイの小型化が再現精度に及ぼす影響に関する研究
  • バイノーラル収音再生システムにおける音空間の方向別分離と個人化の効果の研究
  • 個人の頭部伝達関数に及ぼす衣服の影響に関する研究
  • Sinusoidal合成による波形再現性を有するボコーダーの検討
  • t-SNEを用いた頭部伝達関数の音源方向及び個人による変化の分析

2019年度

  • 音空間収音再生における 低域のビームフォーミングが 音色に及ぼす影響に関する研究
  • 音像の位置と 空間的マスキング効果の関係についての検討
  • 多重計測に基づく HRTF測定時間の短縮に関する検討
  • マルチGPUを用いた行列の累乗計算についての検討
  • 聴覚モデルに基づく空間的マスキング効果の予測に関する基礎的研究
  • 3次元計測に基づく 頭部モデルによる 頭部伝達関数の推定に関する研究
  • 視聴覚刺激による仮想環境提示システムの多音源化の実装と評価
  • 生音とスピーカ提示音の 聴感上の相違に関する検討
  • トランスオーラル方式の設計による 再生音のサラウンド感の変化に関する検討
  • 音空間収音・再生システムのための両耳間レベル差に基づく方向別分離の研究

2018年度

  • 多次元音響特徴量に基づく音響イベントの自動分割アルゴリズムに関する基礎的検討
  • 両耳間差を用いた全周方向の頭部伝達関数の合成に関する研究
  • 頭部形状の 3 次元計測に基づく個人の頭部伝達関数の取得に関する研究
  • DNN を用いた身体特徴量に基づく頭部伝達関数の推定法の検討
  • 音空間収音再生におけるビームフォーミングの適用帯域に関する研究
  • バイノーラル録音信号の個人化に基づく音空間収音・再生システムの研究
  • Wavenet の符号化への応用

自主研究

2020年度

  • パラメトリックスピーカの作成とその性能評価

2019年度

  • 音響VRを利用した動画の製作
  • フレクトリックドラムスの製作

2018年度

  • バイノーラル録音の有効性に関する研究
  • バイノーラルとトランスオーラル再生の研究
  • 環境による音の響きの調査
  • 自作でダミーヘッドマイクを作りたい!!
  • イヤホンの周波数特性の調査
2021.5.28現在