論文の概要: DualManip: Agentic Dynamic Manipulation via Dual-Path Semantic Reasoning and Geometric Adaptation
- arxiv url: http://arxiv.org/abs/2609.31112v2
- Date: Tue, 29 Sep 2026 09:32:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.547254
- Title: DualManip: Agentic Dynamic Manipulation via Dual-Path Semantic Reasoning and Geometric Adaptation
- Title（参考訳）: DualManip:Dual-Path Semantic ReasoningとGeometric Adaptationによるエージェント動的マニピュレーション
- Abstract要約: 視覚言語モデル(VLM)は、ロボット操作のオープンボキャブラリ推論を可能にするが、高い推論遅延は動的シーンでの応答性を制限している。
応答的幾何適応から頻繁な意味推論を分離するデュアルパスフレームワークであるDualManipを提案する。
実世界の評価は、非剛性変形、調音再構成、剛性運動、高精度アセンブリを含む6つの操作タスクにまたがる。
- 参考スコア（独自算出の注目度）: 56.09942267971931
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models (VLMs) enable open-vocabulary reasoning for robot manipulation, but their high inference latency limits responsiveness in dynamic scenes. Many scene changes, however, alter object geometry without invalidating task intent. We present DualManip, a dual-path framework that decouples infrequent semantic reasoning from responsive geometric adaptation. The semantic path decomposes the task and grounds task-relevant interactions, followed by a constraint-solving module for pose optimization. During execution, the geometric path continuously updates template-to-observation correspondences from live RGB-D observations via a shape-adaptive network. These correspondences transfer task-relevant grasp contacts across observations, enabling online grasp reconstruction under object motion and non-rigid deformation. The Information Interaction Module bridges the two paths by initializing task-relevant grasps from semantic grounding, validating geometric updates, and triggering semantic replanning upon update failures. Real-world evaluation spans six manipulation tasks covering non-rigid deformation, articulated reconfiguration, rigid motion, and high-precision assembly across three settings: static, single-change, and continuous dynamic. DualManip demonstrates superior manipulation robustness, particularly under continuous scene changes, while achieving geometric adaptation approximately 46$\times$ faster than agentic verification and semantic replanning. Our project page: https://lichengxi1.github.io/Dualmanip.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、ロボット操作のオープンボキャブラリ推論を可能にするが、高い推論遅延は動的シーンでの応答性を制限している。
しかし、多くのシーンの変更は、タスク意図を無効にすることなくオブジェクトの幾何学を変更する。
応答的幾何適応から頻繁な意味推論を分離するデュアルパスフレームワークであるDualManipを提案する。
セマンティックパスはタスクと関連するインタラクションを分解し、その後にポーズ最適化のための制約解決モジュールが続く。
実行中、幾何経路は、形状適応ネットワークを介して、ライブRGB-D観測からテンプレートから観測までの対応を継続的に更新する。
これらの対応は、観察全体にわたってタスク関連グリップコンタクトを伝達し、オブジェクトの動きと非剛性変形によるオンライングリップ再構成を可能にする。
Information Interaction Moduleは、セマンティックグラウンドからタスク関連グリップを初期化し、幾何学的更新を検証し、更新失敗時にセマンティックリプランニングをトリガーすることによって、2つのパスをブリッジする。
実世界の評価は、非剛性変形、明瞭な再構成、剛性運動、そして3つの設定(静的、単一変更、連続動的)にわたる高精度なアセンブリを含む6つの操作タスクにまたがる。
DualManipは、特に連続的なシーン変更において、優れた操作性を示しながら、エージェント検証やセマンティックリプランニングよりも約46$\times$の幾何学的適応を実現している。
私たちのプロジェクトページは、https://lichengxi1.github.io/Dualmanipです。
関連論文リスト
- ProjFormer: Point Cloud Completion via Geometric-Projective Transformer and Cross-Modal Semantic Constraints [50.4059685962603]
ProjFormerは、明示的なプロジェクションと適応的な特徴ルーティングを通じて、幾何学的に一貫性のある2D-3Dインタラクションを強制するクロスモーダルフレームワークである。
実験によると、軽量な設計の下で、ProjFormerは、構造的完全性を改善した競争力のあるパフォーマンスを提供する。
論文 参考訳（メタデータ） (2026-08-15T08:05:48Z) - GeoHAT: Geometry-Adaptive Hybrid Action Transformer for Mobile Manipulation [6.488530751190965]
全体移動操作には移動基地とマニピュレータの調整が必要である。
我々は、シンプルな原理に基づいて構築された、エンドツーエンドの拡散ベースのフレームワークGeoHATを提案する。
ManiSkill-HABシミュレーションベンチマークの実験では、GeoHATが79.3%の成功率を達成した。
論文 参考訳（メタデータ） (2026-06-11T14:25:09Z) - Decomposing how prompting steers behavior [0.0]
我々は、プロンプトによる表現変化を解釈可能な幾何学的成分に分解する。
我々のフレームワークは、モデルがタスク関連構造をルートして、プロンプト駆動の振る舞いを生成する方法を明らかにする。
論文 参考訳（メタデータ） (2026-06-02T03:27:24Z) - Learning 3D Representations for Spatial Intelligence from Unposed Multi-View Images [81.94999489820974]
UniSplat (UniSplat) は、未提示のマルチビュー画像から3D表現を学習するためのフィードフォワードフレームワークである。
エンコーダにおける幾何誘導を強化するデュアルマスキング戦略を導入する。
第2に,外見のセマンティックな矛盾を解消する粗大なガウス的スプレイティング戦略を開発する。
第3に、予測された3次元点と意味マップを画像平面に相互に関連付ける、ポーズ条件の補正機構を導入する。
論文 参考訳（メタデータ） (2026-04-12T10:36:18Z) - GOT-Edit: Geometry-Aware Generic Object Tracking via Online Model Editing [27.70912792107499]
GOT-Editは2次元ビデオストリームからジェネリックオブジェクトトラッカーにジオメトリ認識キューを統合するオンライン・モダリティ・モデル編集手法である。
提案手法では,事前学習したビジュアルジオメトリグラウンドドトランスの機能を活用し,少数の2次元画像からの幾何的キュー推論を可能にする。
論文 参考訳（メタデータ） (2026-02-09T11:50:29Z) - Talk2Move: Reinforcement Learning for Text-Instructed Object-Level Geometric Transformation in Scenes [69.4534914304302]
本研究では,シーン内のオブジェクトのテキストによる空間変換を行うフレームワークであるTalk2Moveを紹介する。
Talk2Moveでは,さまざまなロールアウトを通じて幾何学的アクションを探索するために,グループ相対ポリシー最適化を採用している。
キュレートされたベンチマークの実験では、Talk2Moveは正確で一貫性があり、セマンティックに忠実なオブジェクト変換を実現している。
論文 参考訳（メタデータ） (2026-01-05T18:55:32Z) - Motion4D: Learning 3D-Consistent Motion and Semantics for 4D Scene Understanding [54.859943475818234]
基礎モデルからの2次元先行を統一された4次元ガウススプラッティング表現に統合する新しいフレームワークであるMotion4Dを提案する。
1) 局所的な一貫性を維持するために連続的に動き場と意味体を更新する逐次最適化,2) 長期的コヒーレンスのために全ての属性を共同で洗練するグローバル最適化,である。
提案手法は,ポイントベーストラッキング,ビデオオブジェクトセグメンテーション,新しいビュー合成など,多様なシーン理解タスクにおいて,2次元基礎モデルと既存の3Dベースアプローチの両方に優れる。
論文 参考訳（メタデータ） (2025-12-03T09:32:56Z) - AlignGS: Aligning Geometry and Semantics for Robust Indoor Reconstruction from Sparse Views [18.361136390711415]
屋内シーンのセマンティックにリッチな3Dモデルへの需要は急速に増加しており、拡張現実、仮想現実、ロボット工学の応用によって推進されている。
既存の手法は、しばしば意味論を、既に形成され、潜在的に欠陥のある幾何学に描かれた受動的特徴として扱う。
本稿では、このビジョンを実現する新しいフレームワークであるAlignGSを紹介し、幾何学と意味論の相乗的でエンドツーエンドの最適化を開拓する。
論文 参考訳（メタデータ） (2025-10-09T06:30:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。