論文の概要: Hierarchical Policies from Verbal and Egocentric Human Signals for Natural Human-Robot Interaction

• arxiv url: http://arxiv.org/abs/2606.10276v1
• Date: Tue, 09 Jun 2026 00:50:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.235473
• Title: Hierarchical Policies from Verbal and Egocentric Human Signals for Natural Human-Robot Interaction
• Title（参考訳）: 自然とロボットのインタラクションのための言語・自我中心の人間信号からの階層的政策
• Authors: Dongjun Lee, Juheon Choi, Dong Kyu Shin, Sinjae Kang, Kimin Lee,
• Abstract要約: EDITHは、人間の非言語的信号を1対1の視点で連続的に捉え、スマートグラスから見つめるロボットフレームワークである。 我々のハードウェアシステムは、人間の第一の視点、視線、発話をロボットにリアルタイムでストリームし、音声を言語指示に翻訳する。 人間とロボットの対話的なタスクの実験において、EDITHは、意図が短時間でしか表現されない場合でも、ロボットが人間の非言語信号に作用することを可能にする。
• 参考スコア（独自算出の注目度）: 28.306877525705236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For natural human-robot interaction, a robot must understand human intent expressed not only through language but also through nonverbal signals such as gestures and gaze. However, current robot policies rely on language instructions as the sole interface for conveying intent, leaving nonverbal signals unused and placing the full burden of communication. In this work, we present EDITH, a robot framework that captures the human's nonverbal signals through continuous streams of first-person view and gaze from smart glasses, and uses them alongside language instructions as inputs to the robot policy. Our hardware system streams the human's first-person view, gaze, and speech to the robot in real time, transcribing the speech into language instructions. To handle these rich but noisy signals, we design a hierarchical policy in which a high-level policy infers the human's intent and produces a sequence of subtasks, where each subtask is represented as a fine-grained instruction paired with a keyframe that grounds the intent in the scene (e.g., the frame where the human points at the target object). A low-level policy then executes these subtasks. In our experiments on human-robot interactive tasks, EDITH enables the robot to act on the human's nonverbal signals even when intent is expressed only briefly, and significantly reduces user effort to convey intent compared to using language instructions alone. Visit our project page for source code and real-robot demo videos.
• Abstract（参考訳）: 自然な人間とロボットの相互作用には、ロボットは言語だけでなく、ジェスチャーや視線といった非言語的な信号を通して表現される人間の意図を理解する必要がある。 しかしながら、現在のロボットポリシーは、意図を伝える唯一のインターフェースとして言語命令に依存しており、非言語的な信号は使われていないままであり、コミュニケーションの完全な負担を負う。 本研究では,人間の非言語的信号を一対一の視点で連続的に捉え,スマートグラスから見つめるロボットフレームワークであるEDITHを紹介し,ロボットポリシーの入力として言語指示とともに使用する。 我々のハードウェアシステムは、人間の第一の視点、視線、発話をロボットにリアルタイムでストリームし、音声を言語指示に翻訳する。 これらのリッチでノイズの多い信号を扱うために、高レベルのポリシーが人間の意図を推測し、サブタスクのシーケンスを生成する階層的なポリシーを設計し、各サブタスクを、シーン内の意図を根拠とするキーフレーム(例えば、人間が対象物を指しているフレーム)と組み合わせたきめ細かな命令として表現する。 低レベルのポリシーがこれらのサブタスクを実行する。 EDITHは,人間ロボットによる対話型タスクの実験において,意図を短時間で表現した場合でも,ロボットが人間の非言語信号に作用することを可能にするとともに,言語命令のみを使用する場合と比較して,意図を伝えるためのユーザの労力を大幅に削減する。 ソースコードと実ロボットデモビデオについては、プロジェクトページを参照してください。

関連論文リスト

• Distill: Uncovering the True Intent behind Human-Robot Communication [3.8732212038055827]
  本稿では,人間とロボットのコミュニケーションインタフェースに対するDistillアプローチを提案する。 タスク仕様が与えられた場合、Distillは不要なステップを取り除き、個々のステップの背後にある意味を一般化し、ステップ間の制約の順序付けを緩和する。 我々はWebインターフェース上でDistillを実装し、クラウドソーシング調査を通じて、初期タスク仕様からユーザ意図を抽出し、洗練する能力を実証した。
  論文  参考訳（メタデータ） (2026-05-14T02:05:49Z)
• HandMeThat: Human-Robot Communication in Physical and Social Environments [73.91355172754717]
  HandMeThatは、物理的および社会的環境における命令理解とフォローの総合評価のためのベンチマークである。 HandMeThatには、人間とロボットの対話の1万エピソードが含まれている。 オフラインとオンラインの強化学習アルゴリズムはHandMeThatでは性能が良くないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T16:14:46Z)
• HuBo-VLM: Unified Vision-Language Model designed for HUman roBOt interaction tasks [5.057755436092344]
  人間のロボットのインタラクションは、人間の指示に従ってロボットを誘導する、エキサイティングなタスクだ。 HuBo-VLMは人間のロボットのインタラクションに関連する知覚課題に取り組むために提案されている。
  論文  参考訳（メタデータ） (2023-08-24T03:47:27Z)
• Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
  ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。 我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。 実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
  論文  参考訳（メタデータ） (2023-03-02T01:55:10Z)
• Robots with Different Embodiments Can Express and Influence Carefulness in Object Manipulation [104.5440430194206]
  本研究では,2つのロボットによるコミュニケーション意図による物体操作の知覚について検討する。 ロボットの動きを設計し,物体の搬送時に注意を喚起するか否かを判断した。
  論文  参考訳（メタデータ） (2022-08-03T13:26:52Z)
• Understanding Natural Language in Context [13.112390442564442]
  我々は、世界の知識に基づくモデルを持ち、このモデルによる推論と計画によって操作する認知ロボットに焦点を当てる。 本研究の目的は,自然言語の発話をロボットのフォーマリズムに翻訳することである。 我々は、既製のSOTA言語モデル、計画ツール、ロボットの知識ベースを組み合わせてコミュニケーションを改善する。
  論文  参考訳（メタデータ） (2022-05-25T11:52:16Z)
• Synthesis and Execution of Communicative Robotic Movements with Generative Adversarial Networks [59.098560311521034]
  我々は、繊細な物体を操作する際に人間が採用するのと同じキネマティクス変調を2つの異なるロボットプラットフォームに転送する方法に焦点を当てる。 我々は、ロボットのエンドエフェクターが採用する速度プロファイルを、異なる特徴を持つ物体を輸送する際に人間が何をするかに触発されて調整する。 我々は、人体キネマティクスの例を用いて訓練され、それらを一般化し、新しい有意義な速度プロファイルを生成する、新しいジェネレーティブ・アドバイサル・ネットワークアーキテクチャを利用する。
  論文  参考訳（メタデータ） (2022-03-29T15:03:05Z)
• Learning Language-Conditioned Robot Behavior from Offline Data and Crowd-Sourced Annotation [80.29069988090912]
  本研究では,ロボットインタラクションの大規模なオフラインデータセットから視覚に基づく操作タスクを学習する問題について検討する。 クラウドソースの自然言語ラベルを用いたオフラインロボットデータセットの活用を提案する。 提案手法は目標画像仕様と言語条件付き模倣技術の両方を25%以上上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-09-02T17:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。