研究内容-表情グループ

研究内容

表情グループ

■顔画像処理(表情分類・分析・解析)と感情・意図の推定・理解

・「表情表出時における心理的ストレスと脳波の関連性」

　本研究では，医学的にも心理的状況を理解するのに脳波が有効であるということに着目しました．Alphatec-Ⅳを用いて脳波計測を行い表情と脳波の関連性を見出すことを目的としています．脳波は，β波，Fα波，Mα波，Sα波，θ波が存在しており，外部刺激を与え脳波がどう変化するかで心理状況を読み取っています．現在外部刺激として快，不快それぞれの刺激を与えたところ，快刺激時にはMα波が多く検出され，不快刺激時にはβ波が多く検出されるという傾向がみられます．

・「自然な表情の領域補正」

本研究では，会話をしているときやテレビを見ているときなどの自然な表情の表出とストレスの関係について解析するために，自然な表情の取得時に関心領域を追跡しました．SURF(Speeded-Up Robust Features)を用いたプログラムの精度を検証しました．任意のSURF特徴点を選択してテンプレートマッチングを行うことで追跡する手法を用いています.SURF特徴点が3点以上取得できたものを表情画像，3点未満しか取得できなかったものを頭部姿勢画像として分類しました.

・「表情の動的多様性に基づく表情空間チャートの生成」

　本研究では，表情表出時の顔の動的多様性に着目し，Gabor Wavelets 変換を行った時系列顔画像を対象に，SOM(Self-Organizing Maps) 及びART(Adaptive Resonance Theory Networks) を用いて個人固有の表情空間チャートの生成手法を提案します．本手法は，SOM により時系列顔画像の位相情報を抽出した後，分類されたマップユニットの結合荷重をART に与えることで，一定の粒度でカテゴリに統合させます．加えて，分類された基本表情毎の表情空間である覚醒度を求めると共に，これを統合した表情空間チャートを生成します．また，同時に被験者が抱える心理的ストレスを計測し，ストレスが表情に与える影響について考察した結果，心理的ストレスと表情空間チャートの広がりに負の相関がみられ，ストレスを感じている時ほど表情は乏しくなるという傾向がみられています．

・「表情の動的多様性に基づく表情表出リズムの抽出」

　本研究では，心理的ストレスレベルに起因する表情の覚醒度合いとその時間的遷移が作り出す時系列パターンを表情表出リズムと定義し，顔の静的多様性と動的多様性に着目した個人固有な表情空間チャートを利用して，人間が創り出す表情表出リズムの可視化する手法を提案します．本手法は，SOM (Self Organizing Maps) とFuzzy ART(AdaptiveResonance Theory）の2 種類の教師なしニューラルネットワークをハイブリッド化して得られる表情の覚醒度から表情空間チャートを生成し，更にFuzzy ARTMAPで学習することにより表情空間をモデル化するためのコードブックを作成し，HMM (Hidden MarkovModel) を用いて表情の時系列パターンの変化から表情表出リズムを抽出します．実験から，HMMが推定した状態遷移系列は表情表出に伴う表情変化の範囲を適切に捉えており，表情表出プロセスにおける中間表情の覚醒パターンを抽出する際にHMM の状態数を用いて制御可能であることを確認できています．

■安全運転予測

・「ドライバの心理的内部状態推定に基づく危険運転予測システムの開発」

　ドライバの認知・判断ミスの誘発原因としては，ドライバの平常状態からの継続的逸脱が大きく関与していると考えられています．ドライバの漫然運転やわき見運転が原因で発生した歩行者死亡事故は，全体の70%を占めており，近年の安全運転支援技術においては，車内のドライバを観察対象とし，安全運転が継続可能な状態かを判断する技術が重要とされています．
　そこで本研究では，ドライビングシミュレータを用いてコースとシナリオを作成し，走行実験を行います．実験では，被験者の視線や顔向き，頭部姿勢などのデータを取得します．実験シナリオでは，自転車の飛び出しによるヒヤリハットイベントが発生し，ヒヤリハットイベント遭遇前後における被験者の運転行動を比較します．さらに，暗算タスクを用いて注意散漫状態を模擬した走行実験を行い，運転集中状態と注意散漫状態における運転行動の違いを分析します．

・「動的ベイジアンネットワークを用いた危険運転予測モデルの構築」

　上記の実験で得られた被験者の視線や顔向き，ハンドルやアクセルなどの操作情報のデータを元に，危険運転予測モデルを構築します．運転行動は時間とともに変化するため，動的ベイジアンネットワークを用いるのが有効であると考えられます．このモデルを用いて，ドライバが運転集中状態である確率と注意散漫状態である確率をそれぞれ計算し，危険運転予測を行います．

・「リカレントSOMを用いた運転シーンの分類」

　本研究では、時系列情報に対応したリカレントSOMを用いることで，運転シーンを分類し，運転行動と走行環境の関係性を分析します．

■心の健康状態（メンタルヘルス）の可視化

・情動喚起ビデオの評価

　本研究では，快・不快ビデオが，それを見ている人に有効に作用しているかを評価します．OEG-16，心拍計，FaceLAbを利用して，それぞれ前頭葉の血液量，心拍，視線と顔向きを抽出することができます．OEG-16とは前頭葉の血液量を計測することができる装置で，血液量によって前頭葉がどの程度使われているのかがわかります．前頭葉には物事を思考する，行動を制御する，コミュニケーションするなどの機能があり，動画を見ている最中は意識的にみているのではないかと考えられます．このシステムを化粧による視線の誘導効果について応用し，研究していきたいと考えています．下の左図はOEG-16の装着例，右図が前頭葉の血液に含まれるヘモグロビンの変化量です．

・化粧の視線誘導効果の分析

　本研究では，化粧の有無のビデオが，それを見ている人の視線・表情にどう作用しているかを評価します．心拍計，FaceLAB，ドライブレコーダーを利用して，それぞれ心拍，視線と顔向き，表情を抽出します．

・Visual Mining Studio

取得データを時系列表示させ，線分化し特徴点，類似点，異常部の検出と分析により，視線の定量化を目指します．

・GHSOM

　対話ビデオを被験者に視聴してもらい，その視聴中の表情を前，右，左の3方向から撮影し，会話時における表情画像の抽出を行います．そして得られた表情画像をGHSOMで分類し，表情からストレスを測り，メンタルヘルスにおけるストレスレベルの検出を目指します．

■

・高齢者ドライバを対象とした運転トピックと認知機能の分析

　高齢者による高速道路上での事故が増加している.そこでドライブシミュレータ上でコースを作成し, 実際に事故の起こりやすい現場を想定した運転トピックと運転中のドライバの顔向きや視線といった認知機能の分析を行い, 実際にドライバから事故が起こりやすい特徴であると検出されたとき, 事故防止に有効なドライバへのアプローチついて考察を行い事故減少を目指す.

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　上に戻る