論文の概要: HINT-Plan: Human Intention-Aware Robot Task Planning in Context-Rich Environments using Vision Language Models
- arxiv url: http://arxiv.org/abs/2609.17771v1
- Date: Tue, 15 Sep 2026 19:24:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.514252
- Title: HINT-Plan: Human Intention-Aware Robot Task Planning in Context-Rich Environments using Vision Language Models
- Title(参考訳): HINT-Plan:視覚言語モデルを用いたコンテキストリッチ環境における人間意図認識型ロボットタスクプランニング
- Abstract要約: HINT-Planは、人間の意図予測をロボットタスク計画に統合するための新しいアプローチである。
視覚言語モデルを用いて、高レベルの人間の意図を第三者による画像観察から予測する。
人間の共同作業計画において、全体的な成功率は69.71%に達する。
- 参考スコア(独自算出の注目度): 16.041705151548538
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Approaches to incorporating human awareness into mobile robot decision-making mainly focus on collision avoidance in low-level motion planning, often overlooking the challenges posed by human presence and high-level behavior. To address this vacancy, we present HINT-Plan, a novel approach to integrate human intention prediction into robot task planning. HINT-Plan employs Vision Language Models (VLMs) to anticipate high-level human intentions from third-person image observations, convert them into goal states, and solve joint task-planning problems. To effectively enable scene awareness in context-rich environments, we use hierarchical Scene Graphs (SGs) as high-level representations of the environment, and translate environmental topology and actionable knowledge into formal planning language to ensure executable plans. Evaluated in a photorealistic simulation, HINT-Plan achieves an overall success rate of 69.71% in joint human-robot task planning, substantially outperforming the baselines by up to 35.29%, while also reducing functional conflicts. The results show the effectiveness of explicitly incorporating inferred human intentions into formal multi-agent task planning for proactive human-aware robot decision-making.
- Abstract(参考訳): 人間の意識を移動ロボットの意思決定に取り入れるアプローチは、主に低レベルの運動計画における衝突回避に焦点を当て、しばしば人間の存在と高レベルの行動によって引き起こされる課題を見越す。
この空虚性に対処するために,人間の意図予測をロボットタスク計画に統合する新しいアプローチであるHINT-Planを提案する。
HINT-Planは視覚言語モデル(VLM)を用いて、第三者による画像観察から高いレベルの人間の意図を予測し、それらを目標状態に変換し、共同作業計画問題を解決する。
環境の高レベルな表現として階層的シーングラフ(SG)を用い,環境トポロジや行動可能な知識を形式的計画言語に翻訳し,実行可能計画を保証する。
フォトリアリスティック・シミュレーションで評価され、HINT-Planは人間の共同作業計画において69.71%の成功率を達成し、ベースラインを35.29%まで上回った。
本研究は,人文認識型ロボットによる意思決定のための多エージェントタスク計画に,推論された人間の意図を明示的に組み込むことの有効性を示した。
関連論文リスト
- Spatially Grounded Long-Horizon Task Planning in the Wild [49.614308474374035]
GroundedPlanBenchは、空間的に接地された長距離行動計画のための新しいベンチマークである。
Video-to-Spatially Grounded Planning (V2GP)は、現実のロボットビデオのデモを活用して、空間的地平面の長期計画を改善する自動データ生成フレームワークである。
論文 参考訳(メタデータ) (2026-03-13T05:42:18Z) - Anticipate, Adapt, Act: A Hybrid Framework for Task Planning [18.95315033393626]
失敗を予測し、適応することは、ロボットが複雑なドメインで人間と効果的に協力する必要がある重要な能力である。
本稿では,LLMの汎用予測機能と動的影響図形言語の逐次決定機能を統合するハイブリッドフレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-23T05:18:11Z) - Embodied Robot Manipulation in the Era of Foundation Models: Planning and Learning Perspectives [101.22313265304979]
近年のビジョン,言語,マルチモーダル学習の進歩は,ロボット基礎モデルの進歩を加速させている。
本研究は,ロボットの操作をアルゴリズムの観点から検討する。
我々は、近年の学習に基づくアプローチを、高レベルの計画と低レベルの制御の統一的な抽象化の中に整理する。
論文 参考訳(メタデータ) (2025-12-28T16:05:38Z) - Long-Term Planning Around Humans in Domestic Environments with 3D Scene Graphs [1.2882480196517307]
家庭環境におけるロボットの長期計画は、人間、物体、空間間の相互作用によって、ユニークな課題を生んでいる。
軌道計画の最近の進歩は、文脈情報を抽出するために視覚言語モデルを活用している。
本稿では,人間の嗜好,活動,空間的文脈を統合した軌道計画手法を提案する。
論文 参考訳(メタデータ) (2025-03-12T09:00:45Z) - Exploring the Adversarial Vulnerabilities of Vision-Language-Action Models in Robotics [68.36528819227641]
本稿では,ビジョン・ランゲージ・アクション(VLA)モデルのロバスト性を体系的に評価する。
本研究では,ロボット行動の不安定化に空間的基盤を活用する2つの未目標攻撃目標と,ロボット軌道を操作する目標攻撃目標を導入する。
我々は、カメラの視野に小さなカラフルなパッチを配置し、デジタルと物理の両方の環境で効果的に攻撃を実行する逆パッチ生成アプローチを設計する。
論文 参考訳(メタデータ) (2024-11-18T01:52:20Z) - Autonomous Behavior Planning For Humanoid Loco-manipulation Through Grounded Language Model [6.9268843428933025]
大規模言語モデル(LLM)は、意味情報の理解と処理のための強力な計画と推論能力を示している。
本稿では,ロボットが与えられたテキストによる指示の下で,自律的に動作や低レベル実行を計画できる新しい言語モデルベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-08-15T17:33:32Z) - A Framework for Neurosymbolic Robot Action Planning using Large Language Models [3.0501524254444767]
本稿では,象徴的タスク計画と機械学習アプローチのギャップを埋めることを目的としたフレームワークを提案する。
大規模言語モデル(LLM)を計画ドメイン定義言語(PDDL)と互換性のあるニューロシンボリックタスクプランナーに訓練する根拠
選択されたドメインにおける予備的な結果から, (i) テストデータセットの95.5%の問題を1,000個のサンプルで解決し, (ii) 従来のシンボルプランナーよりも最大13.5%短いプランを作成し, (iii) 計画の可利用性の平均待ち時間を61.4%まで削減する。
論文 参考訳(メタデータ) (2023-03-01T11:54:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。