人がコミュニケーションをする際には様々なモダリティを用いて表現している．
日常のコミュニケーションでは，例えば，声の調子や，顔の表情の変化，意識的ま
たは無意識的な身体動作によって，細かい表現を行っている．表現を受け止める側
は，そのような細かな表現から，無意識に意図や感情を統合して捉える．
現在，擬人的媒体の研究開発が進み，関連したシステムや商品も普及しつつあ
る．これは，人が動物や無生物などの人ではないものをあたかも人のように錯覚
したり扱ったりすることを利用したものである．このような研究やシステムの中
には，仮想エージェントによる情報提示や，ロボットによるコミュニケーション補
助・代替システムなど，擬人化による錯覚を利用した親和性の高いインタラクショ
ンを狙ったものがある．その際には，実際の人間や生物などと同様な形態や，内部
機構，そして表現のそれぞれについて高い擬人性が望まれる．しかし現状では，そ
れぞれの表現について部分的に議論されているに留まり，統合された擬人的表現に
関する研究はほとんどない．ペットロボットやヒューマノイドロボット，アンドロ
イドといった，実体を伴う擬人的媒体において，ペットのような親しみやすい形状
やリアルな外観による擬人化だけではなく，統合的な観点からそれらのマルチモー
ダル表現を検討し適切に導入することが必要である．
本論文では，実体を伴う擬人的媒体における，音声と身体動作を通じたマルチ
モーダルな表現を検討し，知覚実験の分析により，表現における表情付けの強度
（表情強度）に関する制御の有効性を議論する．擬人的媒体は，身体を持ち，その
身体に基づき，人間と同様に音声，身体動作，顔の表情といった様々な人間の表現
チャネルを持つ．その中で，一般的な擬人的媒体の構造における制御を前提として，
とくに音声と身体動作に焦点を当てる．各々の表現における自然性だけでは，必ず
しもそれらを統合して構成されたマルチモーダル表現も自然になるとは限らない．
そこで，各々の表現手法を検討するのと同時に，それらの組合せにおける効果（ク
ロスモダリティ）についても検討する．この研究では，擬人的表現におけるタイミ
ング，種類，強度という様々な表現の要素の中でも，とくに自然な表現への影響の
大きい表情強度の制御に焦点を当てる．表情強度は，人間同士のコミュニケーショ
ン中では時々刻々と変化しながら伝えられる．このような人間の表現を模倣して擬
人的表現を構成するためには，マルチモーダル表現および個々の構成要素を，望ま
れる強度で連続的に生成することが求められる．このため本論文では，まず擬人的
媒体それ自身の検証を行い，次に擬人的表現における様々な表情強度を制御する手
法を提案し，最後にその知覚的効果を検証する．そのため，以下の章を構成する．
第一章では，擬人的媒体におけるマルチモーダル表現に関する研究の背景と問題
を提起し，本論文の目的と位置づけを明確化するとともに各章の位置づけを示す．
第二章では，擬人的媒体やマルチモーダル表現についての各々の関連研究を紹介
しながら，本論文の位置づけと方向性を確認する．
第三章では，本論文で用いる擬人的媒体としてぬいぐるみに着目し，ぬいぐるみ
が介在するコミュニケーションにおける人の言動への影響を評価する．その親しま
れやすい特性について実体性と外観という要素に着目し，人のコミュニケーション
行動を観察することで，各要素がコミュニケーションに及ぼす影響を計測する．実
験では，ぬいぐるみロボットによる動きと音声を通じた非対面コミュニケーション
を設定し，i) 実存するぬいぐるみを用いた場合と二次元画面上に現れるぬいぐる
みを用いた場合，ii) ぬいぐるみを用いた場合と内部機構がむき出しのロボットを
用いた場合について，ユーザの発話および様々な行動をそれぞれ対比較する．その
結果，ぬいぐるみの実体性と外観が，それぞれユーザの発話と動作に有効的に作用
することが確認された．
第四章では，音声の表情強度の変化を滑らかに接続しながら表出する手法を検討
しその有効性を評価する．まず，音声の中でもとくに声色における表情強度に着目
し，表情のない平坦な歌声を始点とし表情付き歌声を終点とした音声モーフィング
を適用して様々な強度の表情付き音声を自由に生成する手法を提案する．そして，
この手法により作成された歌声音声に対する被験者実験の統計的分析により，i) 変
化させるモーフィング率に応じて歌声の表情強度が補間されて知覚されたこと，お
よびii) 様々なモーフィング率においてそれぞれ差分の異なる刺激対を用いた弁別
実験により，表情強度はカテゴリー知覚ではないことが確認されたことをそれぞれ
示し，知覚的な連続性を実験的に示す．これに基づいて，iii) 知覚される表情強度
を近似し，その逆関数を用いれば知覚される表情強度の変化が線形になるよう表情
付けを調整できることを，実験結果により示唆する．最後に，自然性についての被
験者実験を分析しiv) 表情強度の変化を補間することにより自然性の評価が高まる
ことが示され，提案手法の有効性が確認された．
第五章では，自然に表情付けられた歌声表現を生成するための擬人化インタフェー
スとして，手人形を導入したシステム“HandySinger” について述べる．このシス
テムは，手人形インタフェースから得られるユーザのてのひらの動作に従い，連続
的に歌声の表情強度を変化させる．手人形の身体動作としてユーザの手の形状を
逐次認識するために，手人形インタフェースは７つのピエゾ式曲げセンサと２つの
圧力センサを固定した手袋を内包する．提案システムの動作を確認するため，入力
センサ値と表情強度出力を記録し，対応付けられた身体動作の表情付けの種類と
強度に応じた歌声の制御が可能であることを確かめた．また，被験者実験を行い，
センサ値の解像度や変化幅に個人差があったとしても，システム動作には十分な精
度であることを確認した．上記のシステム評価によって，これらが機能して，擬人
化された身体動作の入力により歌声の自然な表情付けを行うシステムが構築され，
マルチモーダル表現の実験基盤が整った．
第六章では，コミュニケーションや情操的用途での実体を伴う擬人的媒体におけ
る，より豊かで自然な表現の可能性を追求するため，クロスモダリティ（異なるモ
ダリティ間の関係性）を考慮した統合的な擬人的表現について検討する．歌声と身
体動作のクロスモーダル表現について，知覚的側面から表情強度の影響や関係性
を明らかにするため，異なるモダリティ間の1. 総合的な表情強度と2. 適合性につ
いて被験者実験を行った．その結果，統合的な表情強度の知覚は，身体動作による
視覚的な表現の影響が圧倒的に強く，クロスモダリティの適合性の知覚は，モダリ
ティ間で相当する組合せにおいてもっとも高いことが分かった．実験の分析より，
i) 歌声の表情強度の変化幅を広げ，ii) 身体動作による表現との間の知覚的影響の
バランスをとり，より自然な表現を実現させることを，擬人的媒体におけるクロス
モーダル表現の設計指針として提案する．
第七章では本研究で得られた結果を総括する．擬人的媒体による自然なマルチ
モーダル表現を生成する手段の一つとして，被験者による知覚実験の統計的分析に
より導出した結論として，音声と身体動作とそれらの組み合わせの表情強度を制御
する提案手法が有効であることを述べ，今後の課題と研究方向を展望する．
かつてより，擬人的媒体は情報提示などの目的志向で心理的負荷を減らすために
用いられてきたが，現在では，実体性を伴うことを利用して，パートナーやペット
など生きている存在の代理の役割も務めるように発達しつつある．アンドロイドロ
ボットや，動物型ロボットなど，目的に応じて求められる擬人性は異なるが，自然
性が追求された高度な表現が必要とされていることには変わりはない．人に知覚さ
れる表情強度を考慮してマルチモーダル表現を構成することは，いずれの擬人的表
現においても重要である．よって本論文で得られた知見は，擬人的媒体の表現を構
成する上で非常に有益なものとして役立つことが期待される．
|