論文の概要: TAO-DA: Towards Autonomous Operation--A Dual-Arm Vision-Language-Action Model for Coordinated Manipulation
- arxiv url: http://arxiv.org/abs/2609.33197v1
- Date: Sun, 27 Sep 2026 04:32:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 02:17:19.976723
- Title: TAO-DA: Towards Autonomous Operation--A Dual-Arm Vision-Language-Action Model for Coordinated Manipulation
- Title(参考訳): TAO-DA:自律運転に向けて-協調マニピュレーションのためのデュアルアームビジョン・ランゲージ・アクションモデル
- Abstract要約: Vision-Language-Action(VLA)モデルは、ハイレベルなセマンティック情報を低レベルなロボットアクションに基盤付ける統一的なフレームワークを提供する。
既存のVLAモデルは2つの腕の状態と意図を乱す明確なメカニズムを欠いている。
本稿では,両腕を分離した両腕比の専門家用タワーを備えたビジョンランゲージモデル(VLM)のバックボーン上に構築した対称なデュアルアームエキスパートアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 9.048561517716129
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models provide a unified framework for grounding high-level semantic information into low-level robot actions, enabling scalable robotic manipulation across diverse tasks. However, existing VLA models lack explicit mechanisms to disentangle the states and intents of the two arms, leading to unintended cross-arm interference that degrades task execution success. To address this issue, we propose a symmetric Dual-Arm Expert (DAE) architecture built upon a shared Vision-Language Model (VLM) backbone with decoupled, arm-specific expert towers. Expert selection is carried out through a two-stage dual-arm intent routing scheme, in which experts are routed either by explicit language instructions in the first stage or by implicit visual semantics in the second stage. Moreover, we introduce a lightweight task progress prediction module that leverages cross-attention between the pre-chunk temporal features and semantic representations of proprioceptive and visual observations to accurately estimate frame-wise task completion progress. This module facilitates task progress synchronization to support coordinated scheduling for collaborative multi-robot tasks. Experimental results demonstrate the effectiveness of our model in dual-arm intent routing and the disentanglement of cross-arm interference, and further provide preliminary evidence of emergent skill generalization from single- to dual-arm tasks (as well as the reverse), together with cross-arm motion-domain skill transfer.
- Abstract(参考訳): Vision-Language-Action(VLA)モデルは、ハイレベルなセマンティック情報を低レベルなロボットアクションに基盤付けるための統一的なフレームワークを提供する。
しかしながら、既存のVLAモデルは2つのアームの状態と意図を乱す明確なメカニズムを欠いているため、意図しないクロスアーム干渉がタスク実行の成功を低下させる。
この問題に対処するため,本研究では,分割された腕特異的なエキスパートタワーを備えた共有ビジョンランゲージモデル(VLM)のバックボーン上に構築された対称デュアルアームエキスパート(DAE)アーキテクチャを提案する。
エキスパートの選択は、2段階のデュアルアームインテントルーティングスキームによって行われ、エキスパートは第1段階の明示的な言語命令または第2段階の暗黙的な視覚的意味論によってルーティングされる。
さらに,プレチャンクの時間的特徴と主観的・視覚的観察の意味表現との相互関係を利用して,フレームワイドタスク完了進捗を正確に推定する軽量タスク進行予測モジュールを提案する。
このモジュールはタスク進捗同期を容易にし、協調的なマルチロボットタスクの協調スケジューリングをサポートする。
実験により、両腕の意図的ルーティングにおけるモデルの有効性と、両腕の干渉の絡み合いを実証し、また、クロスアームの動作領域のスキル伝達とともに、単腕から両腕のタスク(逆腕)への創発的スキル一般化の予備的証拠を提示した。
関連論文リスト
- Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model [73.59026525350808]
2つのモードからの視覚的および意味的な監視信号を協調的に最適化する二重対向微調整フレームワークを提案する。
本手法は, ゼロショット分類, 画像キャプション, 視覚的質問応答タスクにおいて, 対向ロバスト性評価における最先端手法よりも優れている。
論文 参考訳(メタデータ) (2026-07-21T10:49:29Z) - Metis: A Generalizable and Efficient World-Action Model for Autonomous Driving and Urban Navigation [80.18527639791074]
世界アクションモデルは、自動運転と都市ナビゲーションに非常に有望だ。
既存のアプローチには、重要な制限がある。
我々は,映像生成とアクション予測を分離するエンドツーエンドのWAMフレームワークであるMetisを提案する。
論文 参考訳(メタデータ) (2026-06-14T15:40:49Z) - AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。
AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
論文 参考訳(メタデータ) (2026-06-04T13:28:51Z) - OneVLA: A Unified Framework for Embodied Tasks [42.816376426057275]
ナビゲーションと操作は インテリジェンスの基本能力だ
OneVLAは、これらの異なるタスクを単一の凝集性フレームワークに統合する統一アーキテクチャである。
シミュレーションと実世界の両方の環境での実験は、OneVLAが最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2026-05-31T13:43:23Z) - iFlyBot-VLA Technical Report [25.330744626382977]
iFlyBot-VLA(iFlyBot-VLA)は、新しいフレームワークでトレーニングされた大規模ビジョン・ランゲージ・アクション(VLA)モデルである。
主なコントリビューションは,(1)大規模人体とロボットの操作映像を徹底的に訓練した潜在行動モデル,(2)視覚言語モデル(VLM)と訓練中のアクションエキスパートを協調的に監督する2段階の行動表現フレームワーク,(3)ロボット軌道データと一般的なQAデータセットと空間QAデータセットを組み合わせた混合トレーニング戦略である。
論文 参考訳(メタデータ) (2025-11-01T06:24:56Z) - GoViG: Goal-Conditioned Visual Navigation Instruction Generation [69.79110149746506]
本稿では,Goal-Conditioned Visual Navigation Instruction Generation (GoViG)を紹介する。
GoViGは生のエゴセントリックな視覚データのみを活用し、目に見えない非構造環境への適応性を大幅に改善する。
論文 参考訳(メタデータ) (2025-08-13T07:05:17Z) - Rethinking Bimanual Robotic Manipulation: Learning with Decoupled Interaction Framework [51.39847596489193]
バイオマチックなロボット操作は、ロボティクスコミュニティにおいて、新しくて重要なトピックである。
本稿では,バイマニュアル操作における異なるタスクの特徴を考察した,疎結合なインタラクションフレームワークを提案する。
我々のフレームワークは,SOTA法よりも23.5%向上し,優れた性能を実現している。
論文 参考訳(メタデータ) (2025-03-12T09:28:41Z) - Generative Hierarchical Temporal Transformer for Hand Pose and Action Modeling [67.94143911629143]
ハンドポーズとアクションをモデル化するための生成型Transformer VAEアーキテクチャを提案する。
手ポーズとアクションのセマンティックな依存性と時間的粒度を忠実にモデル化するために、我々はこのフレームワークを2つのケース化されたVAEブロックに分解する。
その結果,独立解よりも認識と予測の連成モデリングが向上することが示唆された。
論文 参考訳(メタデータ) (2023-11-29T05:28:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。