論文の概要: Bridging Semantics and Kinematics: A Modular Framework for Zero-Shot Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2606.23157v1
• Date: Mon, 22 Jun 2026 11:01:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 23:42:01.843204
• Title: Bridging Semantics and Kinematics: A Modular Framework for Zero-Shot Robotic Manipulation
• Title（参考訳）: ブリッジングセマンティクスとキネマティクス:ゼロショットロボットマニピュレーションのためのモジュラーフレームワーク
• Authors: Ali Alabbas, Dipshikha Das, Camillo Murgia, Sainul Ansary, Alaa Elkamash, Philip Long,
• Abstract要約: このアーキテクチャは、視覚行動パイプラインを視覚認識、意味解釈、タスク実行の3段階に分解することで、高レベルの推論と低レベルの運動学のギャップを埋める。 このフレームワークは、制約のないオープンワールドシーケンシャルな操作と密接なリレーショナルな空間的推論という、2つのゼロショット実験装置で評価される。
• 参考スコア（独自算出の注目度）: 0.6927055673104934
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper presents a modular training-free framework for zero-shot, language-guided robotic manipulation in semi-structured environments. The architecture bridges the gap between high-level reasoning and low-level kinematics by decomposing the vision-action pipeline into three stages: visual perception, semantic interpretation, and task execution. To overcome the spatial ambiguity and semantic hallucinations inherent in standard Vision-Language Models (VLMs), the perception module employs FastSAM and Set-of-Mark (SoM) prompting to dynamically generate grounded, alphanumeric visual anchors. The same foundation model then operates purely as a Large Language Model (LLM) to act as a semantic router, translating unconstrained human directives into verifiable, reconfigurable configurations. Finally, these configurations are dynamically parsed by a Task Orchestrator into MoveIt Task Constructor (MTC) to generate collision-free trajectories. The framework is evaluated across two zero-shot experimental setups: unconstrained open-world sequential manipulation and dense relational spatial reasoning, achieving a 62% end-to-end task success rate across both scenarios, demonstrating its capacity to reliably execute complex physical actions without domain-specific training or manual coordinate programming.
• Abstract（参考訳）: 本稿では,セミ構造化環境におけるゼロショット,言語誘導型ロボット操作のためのモジュール型トレーニングフリーフレームワークを提案する。 このアーキテクチャは、視覚行動パイプラインを視覚認識、意味解釈、タスク実行の3段階に分解することで、高レベルの推論と低レベルの運動学のギャップを埋める。 標準的な視覚言語モデル(VLM)に固有の空間的曖昧さと意味的幻覚を克服するために、知覚モジュールはFastSAMとSet-of-Mark(SoM)を使用して、基底を持つアルファ数値の視覚アンカーを動的に生成する。 同じ基盤モデルがLarge Language Model (LLM)として純粋に動作し、セマンティックルータとして機能し、制約のない人間の指示を検証可能で再構成可能な構成に変換する。 最後に、これらの構成はタスクオーケストレータによってMTC(MoveIt Task Constructor)に動的に解析され、衝突のない軌道を生成する。 このフレームワークは、制約のないオープンワールドシーケンシャルな操作と、密度の高いリレーショナルな空間的推論、両方のシナリオで62%のエンドツーエンドタスクの成功率を達成すること、ドメイン固有のトレーニングや手動のコーディネートプログラミングなしで複雑な物理アクションを確実に実行できること、の2つのゼロショット実験で評価されている。

関連論文リスト

• SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning [99.49739831030388]
  このインタフェースの設計は,オープンエンド空間推論のためのエージェントのキャパシティをいかに形作るかを検討する。 本研究では,アクションインタフェースとしてコードを採用する空間推論のためのトレーニングフリーフレームワークであるSpatialClawを提案する。
  論文  参考訳（メタデータ） (2026-06-11T17:59:36Z)
• AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
  AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。 AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2026-06-04T13:28:51Z)
• STABLE: Simulation-Ready Tabletop Layout Generation via a Semantics-Physics Dual System [76.3920413336862]
  シミュレーション可能なテーブルトップシーン生成に適したセマンティックスと物理の二重システムであるSTABLEを提案する。 STABLEはセマンティック共振器と物理共振器の2つの相補的なモジュールで構成されている。 実験により、STABLEはタスク命令に厳密に準拠するシミュレーション可能なテーブルトップシーンを生成することができた。
  論文  参考訳（メタデータ） (2026-05-15T16:18:42Z)
• Plan in Sandbox, Navigate in Open Worlds: Learning Physics-Grounded Abstracted Experience for Embodied Navigation [63.11032720821731]
  textitSAGEは、エージェントがフォトリアリスティックなシミュレーションではなく、物理基底のセマンティック抽象化内で学習することを可能にするフレームワークである。 textitSAGEは、A-EQA上で53.21% LLM-Match Success Rateを達成することで、プランナー支援の実施ナビゲーションを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2026-05-11T07:34:30Z)
• UniManip: General-Purpose Zero-Shot Robotic Manipulation with Agentic Operational Graph [23.060488218180936]
  We present UniManip, a framework based on a Bi-level Agentic Operational Graph (AOG) タスクオーケストレーションのための高レベルのエージェント層と、動的状態表現のための低レベルのScene Layerを結合することにより、システムは、抽象的な計画と幾何学的制約を継続的に整合させる。 実験では、未確認のオブジェクトやタスクに対するシステムの堅牢なゼロショット能力を評価し、最先端のVLAや階層的なベースラインと比較して22.5%と25.0%の成功率を示した。
  論文  参考訳（メタデータ） (2026-02-13T16:47:26Z)
• Executable Analytic Concepts as the Missing Link Between VLM Insight and Precise Manipulation [70.8381970762877]
  VLM(Vision-Language Models)は、セマンティック推論とタスク計画において顕著な能力を示す。 本稿では,VLMに基づく推論を実行可能な解析概念を通じて基礎づける新しいフレームワークであるGRACEを紹介する。 G GRACEは高レベル命令理解と低レベルロボット制御の統一的で解釈可能なインターフェースを提供する。
  論文  参考訳（メタデータ） (2025-10-09T09:08:33Z)
• Hierarchical Language Models for Semantic Navigation and Manipulation in an Aerial-Ground Robotic System [8.88014241557266]
  不均一なマルチロボットシステムは、協調的なハイブリッド協調を必要とする複雑なタスクにおいて大きな可能性を示す。 静的またはタスク固有のモデルに依存する既存のメソッドは、様々なタスクや動的環境にまたがる一般化性に欠けることが多い。 本稿では,大規模言語モデル (LLM) と微調整型視覚言語モデル (VLM) を統合した階層型マルチモーダルフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-05T13:27:41Z)
• Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly lexically) で合成され, 凍結パッチワイド特徴抽出器として, 事前学習された視覚言語モデル (VLM) を用いたフレームワークである。 本研究では,本手法の有効性を,行動クローンによる訓練を実世界のシーンに応用した,四重項フライ・トゥ・ターゲットタスクに適用した。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models [38.503337052122234]
  大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。 我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。 筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
  論文  参考訳（メタデータ） (2023-07-12T07:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。