論文の概要: Bridging Semantics and Physics with Constrained LLMs for Safe and Trustworthy Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2608.29379v1
- Date: Sat, 29 Aug 2026 17:26:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 12:50:15.092785
- Title: Bridging Semantics and Physics with Constrained LLMs for Safe and Trustworthy Robotic Manipulation
- Title（参考訳）: 安全で信頼性の高いロボットマニピュレーションのための拘束型LLMによるブリッジ・セマンティックスと物理
- Abstract要約: 言語誘導ロボットは、正しいように見える計画を作る以上のことをしなければならない。
計画は、運動と衝突の制約の下で物理的に実現不可能でありながら、言語学的に有効なように見える。
推論実行境界を型付き契約として形式化し、このギャップを埋めます。
- 参考スコア（独自算出の注目度）: 6.975054201075641
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A language-guided robot operating in a real kitchen must do more than produce a plan that appears correct. It must also execute that plan safely in cluttered environments under imperfect perception. Large language models (LLM) can decompose instructions into action sequences, yet a language-action gap remains: a plan may appear valid linguistically while being physically infeasible under kinematic and collision constraints. We bridge this gap by formalizing the reasoning-execution boundary as a typed contract. From RGB-D observations, the system grounds perceived objects in an explicit, collision-aware scene model and constrains language-level decisions through schema-validated tool calls defined by the Model Context Protocol (MCP), rejecting malformed commands before they reach the robot. Each validated call is deterministically grounded in a MoveIt Task Constructor pipeline, where candidate motions are evaluated against the reconstructed planning scene in a verify-then-act step. Only trajectories that pass both kinematic and collision checks are sent to the robot. On a physical UFactory 850, the method achieves up to 80% success across ten trials per task on pouring tasks involving liquids, granular media, and discrete solids. It achieves 90% success on a grasp-and-place task using the same planning, protocol, and verification stack. Although a scripted policy slightly outperforms our method on the easiest task, its success rate falls to 10% on the hardest, compared with 60% for our method.
- Abstract（参考訳）: 実際のキッチンで動く言語誘導ロボットは、正しいように見えるプランを作る以上のことをしなければならない。
また、不完全な認識の下で散らばった環境で安全にその計画を実行する必要がある。
大規模言語モデル(LLM)は命令をアクションシーケンスに分解することができるが、言語に作用するギャップが残っている。
推論実行境界を型付き契約として形式化し、このギャップを埋めます。
RGB-Dの観測から、システムは知覚対象を明示的で衝突認識のシーンモデルに置き、モデルコンテキストプロトコル(MCP)によって定義されたスキーマ検証ツールコールを通じて言語レベルの決定を制約し、ロボットに到達する前に不正なコマンドを拒否する。
各バリデーションコールは、確定的にMoveItタスクコンストラクタパイプラインに接地され、バリデーション実行ステップにおいて、再構成された計画シーンに対して候補動作が評価される。
キネマティックチェックと衝突チェックの両方をパスする軌道のみをロボットに送信する。
物理的UFactory 850では、液体、粒状媒体、離散固体を含むタスクを注ぐタスクを10回の試験で最大80%成功させる。
同じ計画、プロトコル、検証スタックを使用して、把握と配置のタスクで90%の成功を達成する。
スクリプト化ポリシは,最も容易なタスクにおいて,我々の手法よりも若干優れていますが,その成功率は最も難しいタスクでは10%に落ちます。
関連論文リスト
- A Brain-inspired Hierarchical Framework for Zero-Shot Robot Task Reasoning and Execution [9.745144598922584]
メソッドは、人間の脳における役割の分割にインスパイアされたゼロショット階層的なフレームワークである。
コマンドを明示的なオブジェクト状態に基底付け、再利用可能なアトミックアクションをタスク条件付きシーケンスに構成し、実行コストで代替シーケンスをランク付けする。
メソッドは、ReKep、Dream2Flow、および$_0.5$ベンチマークよりも高い成功率を達成する。
論文 参考訳（メタデータ） (2026-09-05T08:59:04Z) - ACE: Agentic Control for Embodied Manipulation via Zero-shot Workflow Reasoning [32.18940485472935]
自然言語からのテーブルトップピック・アンド・プレースのためのゼロショットワークフロー推論フレームワークであるACEを紹介する。
我々は,数立方体を用いたゼロショット多段方程式生成や制約に基づくオブジェクト検索など,論理的に複雑で長い水平タスクにおけるACEを評価する。
論文 参考訳（メタデータ） (2026-07-05T08:07:42Z) - Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。
Instruct-Verify-and-Act(IVA)を提案する。
実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
論文 参考訳（メタデータ） (2025-08-22T10:54:33Z) - Context Matters! Relaxing Goals with LLMs for Feasible 3D Scene Planning [1.5391321019692432]
身体的エージェントは、現実の複雑な3D環境で確実に計画し、行動する必要がある。
我々は、LLM(Large Language Models)と古典的なプランニングを融合するフレームワークであるContextMattersを紹介します。
実験の結果,LLMs+PDDLベースラインよりも52.45%成功率が向上した。
論文 参考訳（メタデータ） (2025-06-18T19:14:56Z) - Grounding Language Plans in Demonstrations Through Counterfactual Perturbations [25.19071357445557]
物理領域におけるLarge Language Models(LLM)の常識的推論は、具体化されたAIにとって重要な問題でありながら未解決である。
提案手法は,2次元ナビゲーションによる模倣学習の解釈性と反応性を向上し,シミュレーションおよび実ロボット操作タスクを実現する。
論文 参考訳（メタデータ） (2024-03-25T19:04:59Z) - Interactive Planning Using Large Language Models for Partially
Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。
LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文 参考訳（メタデータ） (2023-12-11T22:54:44Z) - Language-Conditioned Path Planning [68.13248140217222]
LACO(Language-Conditioned Collision Functions)は、単一ビューイメージ、言語プロンプト、ロボット構成のみを使用して衝突関数を学習する。
LACOはロボットと環境の衝突を予測し、オブジェクトアノテーション、ポイントクラウドデータ、地平線オブジェクトメッシュを必要とせずに、柔軟な条件付きパス計画を可能にする。
シミュレーションと実世界の両方において、LACOは衝突を禁止せず、衝突の安全な物体との相互作用を可能にする複雑な、ニュアンスのある経路計画を促進することを実証している。
論文 参考訳（メタデータ） (2023-08-31T17:56:13Z) - DoReMi: Grounding Language Model by Detecting and Recovering from Plan-Execution Misalignment [10.322491116030825]
DoReMiは、計画と実行間のミスアライメントの検出とリカバリを可能にする。
パイプラインは、低レベルの実行を監視し、特定の計画実行ミスアライメントが発生した場合、タイムリなリカバリを可能にします。
論文 参考訳（メタデータ） (2023-07-01T12:51:02Z) - ProgPrompt: Generating Situated Robot Task Plans using Large Language
Models [68.57918965060787]
大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。
本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
論文 参考訳（メタデータ） (2022-09-22T20:29:49Z) - Correcting Robot Plans with Natural Language Feedback [88.92824527743105]
ロボットの修正のための表現的かつ柔軟なツールとして自然言語を探索する。
これらの変換により、ユーザは目標を正し、ロボットの動きを更新し、計画上のエラーから回復できる。
本手法により,シミュレーション環境や実環境において,複数の制約を合成し,未知のシーン,オブジェクト,文に一般化することが可能となる。
論文 参考訳（メタデータ） (2022-04-11T15:22:43Z) - Language Models as Zero-Shot Planners: Extracting Actionable Knowledge
for Embodied Agents [111.33545170562337]
自然言語で表現された高レベルなタスクを、選択された実行可能なステップのセットに基底付ける可能性について検討する。
事前学習したLMが十分に大きく、適切に誘導された場合、ハイレベルなタスクを効果的に低レベルな計画に分解できることがわかった。
本稿では,既存の実演の条件を規定し,計画が許容可能な行動に意味的に変換される手順を提案する。
論文 参考訳（メタデータ） (2022-01-18T18:59:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。