論文の概要: MIGU: Multimodal Instruction Grounding under Uncertainty for Manipulation Planning

• arxiv url: http://arxiv.org/abs/2609.24995v1
• Date: Mon, 21 Sep 2026 17:58:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 15:19:14.881986
• Title: MIGU: Multimodal Instruction Grounding under Uncertainty for Manipulation Planning
• Title（参考訳）: MIGU:マニピュレーションプランニングの不確実性を考慮したマルチモーダルインストラクショングラウンド
• Abstract要約: 言語とジェスチャーが相補的ではあるが不確実な手がかりを提供するマルチモーダル・インストラクション・グラウンドリングについて研究する。 我々は,意味的証拠と幾何学的証拠を組み合わせたモジュラー・フレームワークMIGUを,統一的な基礎的信念として提示する。 実世界のベンチマークでは、MIGUは評価されたベースラインをすべて上回る。
• 参考スコア（独自算出の注目度）: 14.970596991811542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding natural human instructions is crucial for deploying robots in human-centric environments. We study multimodal instruction grounding, where language and gesture provide complementary but uncertain cues. We present MIGU, a modular framework that combines semantic and geometric evidence into a unified grounding belief and connects it to manipulation planning. MIGU constructs a 3D geometric likelihood by propagating viewing-direction and depth uncertainty through eye-finger geometry while accounting for hand-direction estimation error. A vision-language model (VLM) provides semantic priors over candidate objects and regions, which are combined with the geometric likelihood through Bayes-inspired fusion. The resulting belief supports behavior planning to either proceed directly to downstream planning or request clarification. Grounded targets then define goals for mobile manipulation and tabletop task-and-motion planning. On a real-world benchmark, MIGU outperforms all evaluated baselines, while ablations support the benefit of explicit multimodal uncertainty modeling. Project website: multimodal-instruction.github.io
• Abstract（参考訳）: 人間の指示を理解することは、人間中心の環境にロボットを配置するのに不可欠である。 言語とジェスチャーが相補的ではあるが不確実な手がかりを提供するマルチモーダル・インストラクション・グラウンドリングについて研究する。 我々は,意味的および幾何学的証拠を統一された基盤的信念に組み合わせたモジュール型フレームワークMIGUについて述べる。 MIGUは、手振り推定誤差を考慮しつつ、目指形状を通して視方向と奥行きの不確かさを伝播させることにより、3次元幾何学的可能性を構築する。 視覚言語モデル(VLM)は、ベイズにインスパイアされた融合による幾何学的可能性と組み合わせた、候補オブジェクトや領域に対するセマンティックな事前情報を提供する。 結果として得られた信念は、行動計画が下流の計画に直接進むか、または明確化を要求するかをサポートする。 グラウンデッドターゲットは、モバイル操作とテーブルトップタスク・アンド・モーション計画の目標を定義する。 実世界のベンチマークでは、MIGUは評価されたベースラインを全て上回り、アブレーションは明示的なマルチモーダル不確実性モデリングの利点をサポートする。 プロジェクトウェブサイト: multimodal-instruction.github.io

関連論文リスト

• Geometric Action Model for Robot Policy Learning [68.6657929619782]
  汎用ロボットポリシーは、オブジェクト、カメラ、ロボットアクションが3D物理世界でどのように相互作用するかを推論しながら、ユーザーの指示に従う必要がある。 最近の視覚言語行動モデル(VLA)とビデオ世界行動モデル(WAM)は、大規模基盤モデルから強い意味や時間的先行を継承する。 本稿では,言語条件の操作ポリシーであるGeometric Action Model (GAM)を提案する。
  論文  参考訳（メタデータ） (2026-06-15T17:58:03Z)
• Language as a Sensor: Calibrated Spatial Belief Estimation in 3D Scenes from Natural Language [15.05613635418399]
  伝統的なメートル法-セマンティックマッピングは、世界の一部の言語記述を知覚的な視野を超えて無視する。 言語センサモデル(LSM)を訓練し、各発話とそのシーングラフコンテキストをマルチモーダル分布にマッピングする。 次に,VL-Map (Vision-Language Metric-Semantic Mapping) を紹介した。
  論文  参考訳（メタデータ） (2026-06-07T15:17:25Z)
• Meanings and Measurements: Multi-Agent Probabilistic Grounding for Vision-Language Navigation [9.838782060508109]
  視覚言語モデル(VLM)は、物理的に定義された空間におけるメートル法制約を推論するために明示的に設計されていないことを示す。 言語クエリを構造化サブコンポーネントに分解し,各コンポーネントをグラウンド化するためにVLMをクエリするエージェントフレームワークであるMAPGを提案する。 MAPGは、これらの基底出力を確率的に構成し、3次元空間において計量的に一貫した行動可能な決定を生成する。
  論文  参考訳（メタデータ） (2026-03-19T17:20:56Z)
• ReasonNavi: Human-Inspired Global Map Reasoning for Zero-Shot Embodied Navigation [53.95797153529148]
  身体的エージェントは、主に部分的な自我中心の観測に依存するため、効率的なナビゲーションに苦しむことが多い。 本稿では,マルチモーダル大規模言語モデル(MLLM)と決定論的プランナを結合することにより,この理由に基づくパラダイムを運用する,人間にインスパイアされたフレームワークであるReasonNaviを紹介する。
  論文  参考訳（メタデータ） (2026-01-26T19:09:20Z)
• Generalizable Geometric Prior and Recurrent Spiking Feature Learning for Humanoid Robot Manipulation [90.90219129619344]
  本稿では,スパイキング機能を備えたR-prior-S, Recurrent Geometric-priormodal Policyを提案する。 物理的現実の高レベル推論を基礎として、軽量な2次元幾何学的帰納バイアスを利用する。 ロボット行動生成におけるデータ効率問題に対して,再帰的適応スパイクネットワークを導入する。
  論文  参考訳（メタデータ） (2026-01-13T23:36:30Z)
• VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models [38.503337052122234]
  大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。 我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。 筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
  論文  参考訳（メタデータ） (2023-07-12T07:40:48Z)
• Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners [85.03486419424647]
  KnowNoは、大きな言語モデルの不確実性を測定し、調整するためのフレームワークである。 KnowNoは、タスク完了に関する統計的保証を提供する共形予測理論に基づいている。
  論文  参考訳（メタデータ） (2023-07-04T21:25:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。