論文の概要: Embodied Zero-Shot Task Planning via Hardware-Aware LLM-VLM Integration for Grounded Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2610.14106v1
• Date: Thu, 08 Oct 2026 22:59:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.010877
• Title: Embodied Zero-Shot Task Planning via Hardware-Aware LLM-VLM Integration for Grounded Robotic Manipulation
• Title（参考訳）: ハードウェア対応LDM-VLM統合による接地型ロボットマニピュレーションによるゼロショットタスク計画
• Abstract要約: 本稿では,Franka Research 3ロボットのためのハードウェア対応大規模言語モデルビジョン言語モデル (LLM-VLM) 操作フレームワークを提案する。 このフレームワークは、記号的推論とメトリック実行を分離する。 これは、ピックアップ、閉鎖されたソースアクセス、メンテナンスアウト推論、関係配置、シーケンシャルな操作タスクを含むデジタルツイントライアルのシミュレーションによって評価される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models can translate natural-language instructions into plausible manipulation plans, but robotic execution requires physically grounded decisions that respect robot embodiment, workspace geometry, reachability, collision constraints, and grasp feasibility. This paper presents a hardware-aware large language model-vision-language model (LLM-VLM) manipulation framework for a simulated Franka Research 3 robot in NVIDIA Isaac Sim. The framework separates symbolic reasoning from metric execution: an API-hosted LLM planner receives a structured scene summary and generates only symbolic task information, including the object to manipulate, target relation, approach preference, and objects to avoid. A local Qwen3-VL 8B VLM verifier supports semantic confirmation of ambiguous objects and open-container surrogates. Both the LLM planner and the VLM verifier are prohibited from generating robot coordinates, grasp poses, keepout dimensions, gripper commands, trajectory waypoints, or success labels. Instead, these decisions are handled by deterministic grounding and execution modules that use the robot model, scene geometry, MoveIt 2 collision checking, inverse kinematics, grasp validation, release verification, and final visual assessment. Execution feedback is returned only as symbolic context for replanning. The framework is evaluated through simulated digital-twin trials involving pickup, occluded-source access, keepout reasoning, relation placement, and sequential manipulation tasks.
• Abstract（参考訳）: 大きな言語モデルは、自然言語の命令をもっともらしい操作計画に変換することができるが、ロボットの実行には、ロボットの実施、ワークスペースの幾何学、到達可能性、衝突の制約、実現可能性の把握など、物理的に根ざした決定が必要である。 本稿では,NVIDIA Isaac Sim でシミュレーションされた Franka Research 3 ロボットのためのハードウェア対応大規模言語モデルビジョン言語モデル (LLM-VLM) 操作フレームワークを提案する。 APIがホストするLLMプランナは、構造化されたシーン概要を受信し、操作対象、ターゲット関係、アプローチ優先、回避対象を含む象徴的なタスク情報のみを生成する。 ローカルQwen3-VL 8B VLM検証器は、曖昧なオブジェクトとオープンコンテナサロゲートのセマンティックな確認をサポートする。 LLMプランナとVLM検証器はどちらも、ロボット座標の生成、ポーズの把握、保留寸法、グリッパーコマンド、軌道ウェイポイント、成功ラベルを禁止している。 代わりに、これらの決定は、ロボットモデル、シーン幾何学、MoveIt 2衝突チェック、逆運動学、把握検証、リリース検証、最終的な視覚評価を使用する決定論的グラウンドと実行モジュールによって処理される。 実行フィードバックは、再計画のためのシンボリックコンテキストとしてのみ返される。 このフレームワークは、ピックアップ、クローズドソースアクセス、メンテナンスアウト推論、関係配置、シーケンシャルな操作タスクを含むデジタルツイン試験を通じて評価される。

関連論文リスト

• A Few Words Go a Long Way: Language Guided Robot Policy Synthesis [9.088404024682706]
  ARCHITECTは、ロボットポリシー取得をインタラクティブなプログラム合成タスクとして扱うフレームワークである。 我々は,人間の監督者が政策を操縦するために自然言語の修正を行う反復的なプロセスを導入する。 フランカパンダロボットのベンチマーク評価では、ARCHITECTは最先端のVLAモデルより優れている。
  論文  参考訳（メタデータ） (2026-07-26T18:00:02Z)
• Intent-Driven LLM Ensemble Planning for Flexible Multi-Robot Disassembly: Demonstration on EV Batteries [2.3564175619410803]
  本稿では,複雑な操作タスクを計画する上での問題に対処する。 このようなアクションシーケンスを堅牢に構築できる意図駆動型計画パイプラインを提案する。 このパイプラインは、2つのロボットアームが協力して電気自動車のバッテリーを解体する例に基づいて評価される。
  論文  参考訳（メタデータ） (2025-10-20T14:24:39Z)
• Executable Analytic Concepts as the Missing Link Between VLM Insight and Precise Manipulation [70.8381970762877]
  VLM(Vision-Language Models)は、セマンティック推論とタスク計画において顕著な能力を示す。 本稿では,VLMに基づく推論を実行可能な解析概念を通じて基礎づける新しいフレームワークであるGRACEを紹介する。 G GRACEは高レベル命令理解と低レベルロボット制御の統一的で解釈可能なインターフェースを提供する。
  論文  参考訳（メタデータ） (2025-10-09T09:08:33Z)
• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  我々はLLaRA: Large Language and Robotics Assistantを紹介した。 まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。 このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)
• Details Make a Difference: Object State-Sensitive Neurorobotic Task Planning [15.03025428687218]
  オブジェクトの状態は現在の状態や状態を反映しており、ロボットのタスク計画と操作にとって重要である。 近年,LLM (Large Language Models) とVLM (Vision-Language Models) は,計画生成において顕著な能力を示している。 我々は、事前学習ニューラルネットワークによって強化されたタスク計画エージェントであるObject State-Sensitive Agent (OSSA)を紹介する。
  論文  参考訳（メタデータ） (2024-06-14T12:52:42Z)
• Grounding Language Plans in Demonstrations Through Counterfactual Perturbations [25.19071357445557]
  物理領域におけるLarge Language Models(LLM)の常識的推論は、具体化されたAIにとって重要な問題でありながら未解決である。 提案手法は,2次元ナビゲーションによる模倣学習の解釈性と反応性を向上し,シミュレーションおよび実ロボット操作タスクを実現する。
  論文  参考訳（メタデータ） (2024-03-25T19:04:59Z)
• MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting [97.52388851329667]
  我々は,自由形式の言語命令で指定されたロボット操作タスクを解決するために,マーキングオープンワールドキーポイントアフォード(Moka)を導入する。 我々のアプローチの中心は、VLMの観測画像と物理世界におけるロボットの行動に関する予測を橋渡しする、コンパクトな点ベースの可測性表現である。 ツールの使用,変形可能な身体操作,オブジェクト再構成など,さまざまなテーブルトップ操作タスクにおけるMokaの性能評価と解析を行った。
  論文  参考訳（メタデータ） (2024-03-05T18:08:45Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• ProgPrompt: Generating Situated Robot Task Plans using Large Language Models [68.57918965060787]
  大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。 本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
  論文  参考訳（メタデータ） (2022-09-22T20:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。