論文の概要: HEIR: Harness Egocentric Intent for Human-Robot Interactions
- arxiv url: http://arxiv.org/abs/2611.17238v1
- Date: Thu, 12 Nov 2026 18:25:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.586284
- Title: HEIR: Harness Egocentric Intent for Human-Robot Interactions
- Title(参考訳): HEIR:人間とロボットのインタラクションのためのハーネス・エゴセントリックなインテント
- Abstract要約: 本稿では,人間-ロボットインタラクションのためのハーネス・エゴセントリック・インテントの研究資源であるHEIRを紹介する。
HEIRは、ロボットの観察と遠隔操作によるナビゲーション操作トラジェクトリによって、人間の音声、計測された視線、自我中心のビデオとペアリングする。
キャプチャされたデータは、人間によって承認されたアノテーションとともに、インテントグラウンディング、実行計画、タスク完了の研究をサポートする。
- 参考スコア(独自算出の注目度): 14.687389636857034
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For robots to assist, serve, and collaborate with humans, they must not only interpret human requests conveyed through language and multimodal intentional cues, but also execute long-horizon tasks that interleave navigation and manipulation. In this paper, we introduce HEIR, a resource for studying how to Harness Egocentric Intent for Human-Robot Interaction. HEIR pairs human speech, measured gaze, and egocentric video with robot observations and teleoperated navigation-manipulation trajectories, while each session preserves successive episodes, with each request fulfilled through multiple execution subtasks. The captured data, together with human-authored annotations, support the study of intent grounding, execution planning, and task completion within a unified interaction setting. To demonstrate the value of HEIR, we conduct extensive offline experiments to evaluate how models benefit from additional human-centric context across these tasks, together with real-robot experiments that assess execution task completion. HEIR thus provides a valuable resource for studying user-centric robot interaction in naturalistic household environments. Our demo and dataset are available online.
- Abstract(参考訳): ロボットが人間を支援し、サービスし、協力するためには、言語や多モーダルな意図的な手がかりを通じて伝達される人間の要求を解釈するだけでなく、ナビゲーションと操作をインターリーブする長距離タスクも実行しなければならない。
本稿では,人間-ロボットインタラクションのためのハーネス・エゴセンティブ・インテントの研究資源であるHEIRを紹介する。
HEIRは、ロボットの観察と遠隔操作のナビゲーション操作トラジェクトリと、人間のスピーチ、計測された視線、自我中心のビデオとをペアリングし、各セッションは連続したエピソードを保存し、各要求は複数の実行サブタスクを通して満たされる。
キャプチャされたデータは、人間によって承認されたアノテーションとともに、統合されたインタラクション設定内でのインテントグラウンディング、実行計画、タスク完了の研究をサポートする。
HEIRの価値を実証するために、我々は、モデルがこれらのタスクにまたがる人間中心のコンテキストからどのように恩恵を受けるかを評価する広範囲なオフライン実験と、実行タスクの完了を評価する実ロボット実験を行った。
HEIRは、自然主義的な家庭環境におけるユーザ中心のロボットインタラクションを研究するための貴重なリソースを提供する。
私たちのデモとデータセットはオンラインで公開されています。
関連論文リスト
- Ego4WAM: What Matters When Scaling Egocentric Human Data for Robot Learning? [54.32406853559322]
既存の作業では、人間のデータの増加とともにスケーリングが好まれるが、どのデータ特性が下流ロボットの獲得を促進するかは不明だ。
本稿では,世界アクション・モデル・フレームワークを統一した枠組みの下で,アライメントと監督の異なるエゴセントリックな人間データの体系的研究を行う。
協調した人間によるデモンストレーションにより,配布外一般化が大幅に向上し,目標目標のロボットデータ要求が大幅に低減されることが判明した。
論文 参考訳(メタデータ) (2026-09-30T17:58:35Z) - HABIT: Human-Aware Behavior and Interaction Training Dataset for Robot Manipulation [46.45333030782776]
HABITは、人間の現在環境に対する大規模なロボットデータセットのデモである。
我々は,人間とロボットのインタラクションの異なるモードを捉える3つの役割,コラボレータ,コワーキング,スーパーバイザにタスクを編成する。
実験の結果、人間の現在データに対するトレーニングは、ロボットのみのデータが生成できない人間の認識行動を引き起こすことがわかった。
論文 参考訳(メタデータ) (2026-06-30T13:58:19Z) - Perceiving and Acting in First-Person: A Dataset and Benchmark for Egocentric Human-Object-Human Interactions [110.43343503158306]
本稿では、手動支援タスクを視覚言語アクションフレームワークに組み込み、そのアシスタントは、自我中心のビジョンとコマンドに従ってインストラクターにサービスを提供する。
この設定の下で、我々は、マルチモーダルデータの11.4時間1.2Mフレームを持つ、最初の大規模人・物・人間のインタラクションデータセットであるInterVLAを達成した。
我々は,エゴセントリックな人の動き推定,相互作用合成,および包括的分析による相互作用予測に関する新しいベンチマークを構築した。
論文 参考訳(メタデータ) (2025-08-06T17:46:23Z) - HandMeThat: Human-Robot Communication in Physical and Social
Environments [73.91355172754717]
HandMeThatは、物理的および社会的環境における命令理解とフォローの総合評価のためのベンチマークである。
HandMeThatには、人間とロボットの対話の1万エピソードが含まれている。
オフラインとオンラインの強化学習アルゴリズムはHandMeThatでは性能が良くないことを示す。
論文 参考訳(メタデータ) (2023-10-05T16:14:46Z) - HoloAssist: an Egocentric Human Interaction Dataset for Interactive AI
Assistants in the Real World [48.90399899928823]
この研究は、物理的な世界でのタスクを実行することで人間を対話的に導くインテリジェントエージェントを開発するための、より広範な研究努力の一環である。
大規模なエゴセントリックなヒューマンインタラクションデータセットであるHoloAssistを紹介する。
人間のアシスタントがミスを正し、タスク完了手順に介入し、環境に指示を下す方法について、重要な知見を提示する。
論文 参考訳(メタデータ) (2023-09-29T07:17:43Z) - Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement
Learning [54.636562516974884]
模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。
本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。
ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
論文 参考訳(メタデータ) (2023-03-02T18:51:38Z) - Let's be friends! A rapport-building 3D embodied conversational agent
for the Human Support Robot [0.0]
会話中の非言語行動の微妙なミラーリング(模倣または平行共感とも呼ばれる)はラプポート構築に不可欠である。
本研究の課題は,対話者の表情と頭部の動きを反映できるECAとヒューマンサービスロボットを組み合わせることで,ユーザエクスペリエンスが向上するかどうかである。
私たちの貢献は、対話者の顔を追跡し、人間の支援ロボットと統合されたリアルタイムで顔の表情や頭の動きを反映することができる表現的ECAの複雑な統合です。
論文 参考訳(メタデータ) (2021-03-08T01:02:41Z) - Joint Mind Modeling for Explanation Generation in Complex Human-Robot
Collaborative Tasks [83.37025218216888]
本稿では,人間とロボットのコラボレーションにおいて,人間のようなコミュニケーションを実現するための新しい説明可能なAI(XAI)フレームワークを提案する。
ロボットは、人間のユーザの階層的なマインドモデルを構築し、コミュニケーションの一形態として自身のマインドの説明を生成する。
その結果,提案手法はロボットの協調動作性能とユーザ認識を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2020-07-24T23:35:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。