受付案内ロボットASKA
奈良先端科学技術大学院大学 ロボティクス講座
作成 2003年07月01日
更新 2003年07月01日
Last Updated: [an error occurred while processing this directive]
研究の目的
本プロジェクトでは，情報科学研究科の各研究室において開発された要素技術を持ち寄り，一台の人型ロボット（テムザックIV）の上に実装することで，研究科のシンボルとなるような受付ロボットシステムを構築し，稼働させることを目的としてはじめられた．まず第一段階として，音情報処理学講座（鹿野研）の音声認識技術と，ロボティクス講座（小笠原研）のロボット構築・制御技術を合わせることで，実際に受付においてデモを行うシステムの構築を行った．次に，ロボティクス講座の画像処理を用いた人検出技術を用いて，人を発見したり，アイ・コンタクトをとるシステムを構築している．
開発の概要
2001年7月31日に奈良先端大にて開催されたロボフェスタ生駒において，受付案内ロボット（ASKAと命名）のお披露目デモンストレーションを行った．ここでは，以下の機能を持つ受付案内ロボットを実現た．
  1. 受付の前に立っている人をレーザ距離センサを用いて見つけ，そちらを向く．
  2. 音声による質問を認識する．
  3. 質問の答えを，ジェスチャを交えて発話する．
その後，ステレオカメラを用いた人・顔の発見・追跡機能や，インターネットからの情報収集機能等が追加され，現在に至る．
対話処理の概要
実験システム
受付案内ロボットASKA
aska body aska head 		ASKAのベースとなっているのは，人間型遠隔操作ロボット・テムザックIV（テムザック社）である．テムザックIVのシステムはWindows上で動作し，PHS経由での専用コックピットを用いた遠隔操縦に特化されているため，自律ロボットとしての利用はできない．そこで搭載されているコンピュータをLinuxベースの組み込みPCに替え，通常のLAN環境に接続した．また，人間と対話したり，画像による環境認識を行うために，カメラを組み込んだロボットヘッド（図（右））を製作した．このシステムは，通信総合研究所の小嶋氏が開発された Infanoid の頭部のコピーである．両眼球はそれぞれパンの自由度を持ち，また広角と望遠の超小型CCDカラーカメラ(ELMO社QN42H) が1つづつ組み込まれている．また，口部は開閉と上げ下げの自由度を持っており，人とコミュニケーションする時に重要となる発話や感情表現の生成に用いられる．さらに，音声認識のためのマイクがロボットの前に設置されている．
ハードウェア構成
aska system
  • PC
    • 本体内：FA用CPUボード (PentiumIII 1GHz) 1台
    • 外　部：省スペースPC (Pentium4 2GHz) 3台
      • 音声処理用 1台
      • 画像処理用 1台
      • 統括サーバー 1台
  • 自由度
    • 頭部：8[DOF]
    • 胸部：1[DOF]
    • 腕部：7[DOF]×2
    • 手部：3[DOF]×2
  • センサ
    • マイクロフォン：1台
    • カメラ：広角×2台，望遠×2台
    • レーザ距離センサ：1台
ソフトウェア構成
aska software 		ASKAには左図に示すソフトウェアモジュールが組み込まれており，サーバプロセスを介してソケット通信により相互に情報をやりとりしている．このうちの音声対話関連のモジュール（音声認識理解，音声合成）については音情報処理学講座が，またそれ以外のモジュール（胴体ジェスチャ，頭部ジェスチャ，人検出など）はロボティクス講座が開発を担当した．

これらのモジュールは，定められたプロトコルを用いてサーバプロセスとのメッセージ交換することで，他のモジュールとの協調作業を実現している．モジュールが互いに独立に動作するため，複雑な同期処理には向かないが，システムの開発を容易にできる．また，モジュール内に閉じた開発を行なえるため，新たな技術の組み込みを手軽に行なえるメリットがある．
実験の様子
対話の様子
aska
『ロボティクス講座はA棟5階です』 		aska
『公衆電話は後ろ側にあります』
対話の様子
画像による人の認識
aska vision 		ASKAの頭部に組み込まれた超小型カメラを用いて人の認識を行う．まず，広角カメラを用いて，三角測量の原理で距離を測り，距離画像を生成する．次に距離画像の中から，人らしい領域を切り出す．最後に頭部を人領域に向け，ユーザの顔，視線，口の動きを認識する．ユーザがASKAの顔を見ていると判断したときにのみ，音声に反応する．これにより，ASKAとユーザの（極めて単純ではあるが）アイ・コンタクトを実現した．
画像による顔・視線の認識
aska face tracking aska face tracking 		ユーザがASKAの顔を見ながら話しかけている場合と，ASKAの顔を見ていない場合の視線認識結果．
メディアでの紹介
デモの記録
文献リスト
  1. 西村 竜一, 李 晃伸, 猿渡 洋, 鹿野 清宏: "音声対話機能を持つ受付案内ロボットASKAの実装", 日本音響学会講演会講演論文集, pp.37-38, 1-5-9, 2002.
  2. 怡土 順一, 松本 吉央, 西村 竜一, 李 晃伸: "受付案内ロボットASKA: 情報科学研究の実環境プラットフォーム", 日本機会学会ロボティクス・ メカトロニクス講演会'02講演論文集, 1A1-D12, 2002.
  3. 明賀 陽平, 田合 弘幸, 松本 吉央, 小笠原 司: "受付案内ロボットASKAにおける画像を用いた人発見・追跡", 日本ロボット学会創立20周年記念学 術講演会予稿集, 1G33, 2002.
  4. Jun'ichi Ido, Kentaro Takemura, Yoshio Matsumoto and Tsukasa Ogasawara: "Robotic Receptionist ASKA : A Research Platform for Human-Robot Interaction", Proceedings of the 2002 IEEE Int. Workshop on Robot and Human Interactive Communication (ROMAN2002), pp.306-311, 2002.
  5. Ryuichi Nishimura, Takashi Uchida, Akinobu Lee, Hiroshi Saruwatari, Kiyohiro Shikano and Yoshio Matsumoto: "ASKA: Receptionist Robot System with Speech Dialogue System", Proc. of 2002 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems (IROS'02), pp.1314-1319, 2002.
  6. Jun'ichi Ido, Youhei Myouga, Yoshio Matsumoto and Tsukasa Ogasawara: "Interaction of receptionist ASKA using vision and speech information", Proc. of IEEE Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI2003), 2003. (to appear)
研究メンバー
現在のメンバー： 過去のメンバー：
協力
連絡先
松本吉央 (mail address)

研究室トップへ戻る
Valid HTML 4.01!