人は様々な手段を使ってコミュニケーションしています。 声の調子・目の動き・体の動き．．．． 人とやりとりするロボットやエージェントにも同じように親しみやすく 自然な表現をさせたい、そういう想いを持っています。 特にぬいぐるみのような形を持ったロボットにおいて、どんな風に表現したら人に伝わるのか、そのために必要なことを研究しています。
キーワード: ぬいぐるみI/F，音声情報処理，音楽情報科学，視線コミュニケーション

• 遠隔視線検出を用いたぬいぐるみと人の視線コミュニケーション

  人同士でも、目があったら『何、どうしたの？？』 とコミュニケーションが始まります。 また、相手の人が自分を見ているかどうかに応じて違う返事を返したりしませんか？？ このテーマでは、ぬいぐるみロボットが自然にコミュニケーションを誘発するために、 人の視線を感知して、それに応じていろいろな反応を返すための研究をしています。

• 手人形インタフェースと音声表現

  ハンドパペットの豊かな表現は人形劇場などで見られますが、 コミュニケーションにハンドパペットが使えるか！？ という見地からこのテーマをはじめました。　 提案するシステムではハンドパペットの動きにあわせて 歌声の声色を変化させることができます。 自分の声を発しなくても、 ユーザのいろいろなその時々の感情を織り交ぜて表現できます。

  • 音声と身体動作による表情強度のクロスモダリティ効果

    私たちは、いろいろな音声表現といろいろなジェスチャ表現を用いて 普段のコミュニケーションをしています。ぬいぐるみにも、 様々な強さの表情付けで、いろいろな表現を させようとするとき、クロスモダリティ（例えば音声とジェスチャの関係）を 考慮しなければ、 いろいろなモダリティの表現の間で「かみあわない」表現をしてしまう可能性もあります。 どんなふうに組み合わせるべきなのか研究し、その知覚評価を行っています。

  • 歌声表現モーフィング

    どんな声で物を表現するか、同じ歌でも違う人が歌ったら異なる表現になります。 実は私たちも自分で日常的に声色を変えながら表現しているのです。 ここではSTRAIGHT音声モーフィングという手法を用いて、特定歌唱者の異なる声色の歌声を 連続的に変化させる技法を研究し、その知覚評価を行っています。

I. 音声合成データベース自動生成@NTT SP Lab.

• HMMを用いた精密な音素分割のためのパラメータ検討
• 精密な音素分割に必要なHMM音素モデルの学習量の検討