論文の概要: HandMeThat: Human-Robot Communication in Physical and Social Environments

• arxiv url: http://arxiv.org/abs/2310.03779v1
• Date: Thu, 5 Oct 2023 16:14:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 19:22:25.043450
• Title: HandMeThat: Human-Robot Communication in Physical and Social Environments
• Title（参考訳）: HandMeThat: 物理的・社会的環境における人間とロボットのコミュニケーション
• Authors: Yanming Wan, Jiayuan Mao, Joshua B. Tenenbaum
• Abstract要約: HandMeThatは、物理的および社会的環境における命令理解とフォローの総合評価のためのベンチマークである。 HandMeThatには、人間とロボットの対話の1万エピソードが含まれている。 オフラインとオンラインの強化学習アルゴリズムはHandMeThatでは性能が良くないことを示す。
• 参考スコア（独自算出の注目度）: 73.91355172754717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce HandMeThat, a benchmark for a holistic evaluation of instruction understanding and following in physical and social environments. While previous datasets primarily focused on language grounding and planning, HandMeThat considers the resolution of human instructions with ambiguities based on the physical (object states and relations) and social (human actions and goals) information. HandMeThat contains 10,000 episodes of human-robot interactions. In each episode, the robot first observes a trajectory of human actions towards her internal goal. Next, the robot receives a human instruction and should take actions to accomplish the subgoal set through the instruction. In this paper, we present a textual interface for our benchmark, where the robot interacts with a virtual environment through textual commands. We evaluate several baseline models on HandMeThat, and show that both offline and online reinforcement learning algorithms perform poorly on HandMeThat, suggesting significant room for future work on physical and social human-robot communications and interactions.
• Abstract（参考訳）: 身体・社会環境における教示理解と追従の総合評価のためのベンチマークであるHandMeThatを紹介する。 以前のデータセットは主に言語基盤と計画に焦点を当てていたが、HandMeThatは物理的(状態と関係)と社会的(人間の行動と目標)情報に基づく曖昧さによる人間の指示の解決について検討している。 handmeは、人間とロボットのインタラクションの1万のエピソードを含む。 各エピソードで、ロボットはまず人間の行動の軌跡を自身の内部の目標に向かって観察する。 次に、ロボットは人間の指示を受け、命令を通じてサブゴールセットを達成するための行動をとる。 本稿では,ロボットがテキストコマンドによって仮想環境と対話する,ベンチマークのためのテキストインタフェースを提案する。 我々は、HandMeThatのベースラインモデルを評価し、オフラインとオンライン両方の強化学習アルゴリズムがHandMeThatで性能が劣っていることを示す。

関連論文リスト

• Real-time Addressee Estimation: Deployment of a Deep-Learning Model on the iCub Robot [52.277579221741746]
  住所推定は、社会ロボットが人間とスムーズに対話するために必要なスキルである。 人間の知覚スキルにインスパイアされたディープラーニングモデルは、iCubロボットに設計、訓練、デプロイされる。 本研究では,人間-ロボットのリアルタイムインタラクションにおいて,そのような実装の手順とモデルの性能について述べる。
  論文  参考訳（メタデータ） (2023-11-09T13:01:21Z)
• SACSoN: Scalable Autonomous Control for Social Navigation [62.59274275261392]
  我々は、社会的に邪魔にならないナビゲーションのための政策の訓練方法を開発した。 この反事実的摂動を最小化することにより、共有空間における人間の自然な振る舞いを変えない方法でロボットに行動を促すことができる。 屋内移動ロボットが人間の傍観者と対話する大規模なデータセットを収集する。
  論文  参考訳（メタデータ） (2023-06-02T19:07:52Z)
• Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
  ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。 我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。 実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
  論文  参考訳（メタデータ） (2023-03-02T01:55:10Z)
• Semantic-Aware Environment Perception for Mobile Human-Robot Interaction [2.309914459672557]
  本稿では,移動ロボットのための視覚ベースシステムについて,アプリオリ知識を付加せずにセマンティック・アウェア環境を実現する。 実世界のアプリケーションで我々の手法をテストすることができる移動型ヒューマノイドロボットにシステムをデプロイする。
  論文  参考訳（メタデータ） (2022-11-07T08:49:45Z)
• Robots with Different Embodiments Can Express and Influence Carefulness in Object Manipulation [104.5440430194206]
  本研究では,2つのロボットによるコミュニケーション意図による物体操作の知覚について検討する。 ロボットの動きを設計し,物体の搬送時に注意を喚起するか否かを判断した。
  論文  参考訳（メタデータ） (2022-08-03T13:26:52Z)
• Body Gesture Recognition to Control a Social Robot [5.557794184787908]
  本研究では,人間の身体を自然に利用してロボットと対話できるジェスチャー型言語を提案する。 ニューラルネットワークを用いた新しいジェスチャー検出モデルと、ネットワークをトレーニングするための身体ジェスチャーセットを実行する人間のカスタムデータセットを作成しました。
  論文  参考訳（メタデータ） (2022-06-15T13:49:22Z)
• Human Grasp Classification for Reactive Human-to-Robot Handovers [50.91803283297065]
  本稿では,ロボットが人間に遭遇するロボットのハンドオーバに対するアプローチを提案する。 対象物をさまざまな手形やポーズで保持する典型的な方法をカバーする,人間の把握データセットを収集する。 本稿では,検出した把握位置と手の位置に応じて人手から対象物を取り出す計画実行手法を提案する。
  論文  参考訳（メタデータ） (2020-03-12T19:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。