論文の概要: ThinkingVLA: Interleaved Vision and Language Reasoning for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2606.17937v1
• Date: Tue, 16 Jun 2026 13:45:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.46422
• Title: ThinkingVLA: Interleaved Vision and Language Reasoning for Robotic Manipulation
• Title（参考訳）: ThinkingVLA:ロボットマニピュレーションのためのインターリーブドビジョンと言語推論
• Authors: Tianyi Lu, Hui Zhang, Zijie Diao, Junke Wang, Shengqi Xu, Xingyao Lin, Guojin Zhong, Ziyi Ye, Peng Wang, Zuxuan Wu, Yu-Gang Jiang,
• Abstract要約: 我々は、操作計画が自然に予測に分解され、次の視覚状態が予測され、逆ダイナミクスとなることを論じる。 我々は、この分解を実現する生成モデルである textbfThinkingVLA を提案する。 シミュレーションと実世界のベンチマークの実験では、ThinkingVLAは最先端のベースラインを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 71.69632267962993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most Vision-Language-Action (VLA) models map observations directly to actions without explicit reasoning, limiting their capacity for reasoning-intensive long-horizon tasks. To address this, existing approaches adopt Chain-of-Thought (CoT) reasoning to enable subgoal decomposition and spatial anticipation. However, those methods lack a unified architecture for effective cross-modal reasoning and fail to explicitly include inverse reasoning ability based on the target state. We argue that manipulation planning naturally decomposes into prediction, anticipating the next visual state, and inverse dynamics, inferring the actions to reach it. Bridging both requires a unified autoregressive architecture that interleaves textual and visual reasoning in a single generation process. We propose \textbf{ThinkingVLA}, a generative model that realizes this decomposition within a unified Mixture-of-Transformers architecture. ThinkingVLA consists of a forward CoT that identifies the immediate subgoal and guides the visual forecasting; the predicted image then serves as the target state, grounding an inverse CoT that reasons about spatial relationships and action intent based on the predicted image; and the final action is generated conditioned on this full reasoning context. Extensive experiments on simulation and real-world benchmarks demonstrate that ThinkingVLA consistently outperforms state-of-the-art baselines, with particularly large gains on long-horizon manipulation tasks.
• Abstract（参考訳）: 多くのVLA(Vision-Language-Action)モデルは、観察を明示的な推論なしで直接行動にマッピングし、推論集約的なロングホライゾンタスクの能力を制限する。 これを解決するために、既存のアプローチでは、下位分解と空間予測を可能にするためにChain-of-Thought(CoT)推論を採用している。 しかし、これらの手法には効果的なクロスモーダル推論のための統一アーキテクチャが欠如しており、ターゲット状態に基づいた逆推論能力を明示的に含まない。 我々は、操作計画が自然に分解され、次の視覚状態が予測され、逆ダイナミクスとなり、それに到達するための行動が推測されると主張している。 両方をブリッジするには、単一の生成プロセスでテキストと視覚的推論をインターリーブする統合された自己回帰アーキテクチャが必要である。 本稿では、この分解を変換器の統一アーキテクチャ内で実現する生成モデルである「textbf{ThinkingVLA}」を提案する。 思考VLAは、即時サブゴールを識別し、視覚的予測を導くフォワードCoTで構成され、予測された画像は、予測された画像に基づいて空間的関係や行動意図に起因した逆CoTを接地し、この完全な推論コンテキストに基づいて最終動作を生成する。 シミュレーションと実世界のベンチマークに関する大規模な実験は、ThinkingVLAが最先端のベースラインを一貫して上回り、特に長距離操作タスクにおいて大きな成果を上げていることを示している。

関連論文リスト

• Afford-VLA: Action-Aligned Visual Planning via Internalized Affordance [108.46436073194546]
  効果的なプランニングは、ローカルで、視覚的に基礎があり、内部で生成され、アクションと直接整合するべきである、と私たちは主張する。 本稿では,タスク条件付きアベイランスをVLAモデル内で明示的な視覚的計画インターフェースとして内包する統合フレームワークであるAfford-VLAを提案する。
  論文  参考訳（メタデータ） (2026-05-22T20:43:47Z)
• PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations [66.94988600664574]
  我々は,目標達成型強化学習を通じて事前学習を再構築するVLA基盤モデルであるtextbfPRTS(textbfPrimitive textbfReasoning and textbfTasking textbfSystem)を提案する。
  論文  参考訳（メタデータ） (2026-04-30T06:14:02Z)
• HiVLA: A Visual-Grounded-Centric Hierarchical Embodied Manipulation System [48.02804864175127]
  HiVLAは、低レベルのモーター制御から高レベルのセマンティックプランニングを明確に分離する、視覚的なグラウンド中心の階層的なフレームワークである。 シミュレーションと実世界の実験により、HiVLAは最先端のエンドツーエンドベースラインを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2026-04-15T17:50:07Z)
• FutureVLA: Joint Visuomotor Prediction for Vision-Language-Action Model [73.03346643967309]
  我々は、効果的な共同運動予測モデルには、時間的連続性と視覚的条件による監督的疎結合の両方が必要であると論じる。 FutureVLAは、視覚情報と運動情報を最初に分離することで、関節振動子埋め込みを抽出するように設計されている。 訓練後の段階において、我々は遅延埋め込みアライメント戦略を採用し、様々な下流VLAモデルによりこれらの時間的先行を内部化することができる。
  論文  参考訳（メタデータ） (2026-03-11T12:39:55Z)
• Latent Reasoning VLA: Latent Thinking and Prediction for Vision-Language-Action Models [69.58413440457828]
  VLA(Vision-Language-Action)モデルは、チェーン・オブ・思想(CoT)推論の恩恵を受けるが、既存のアプローチでは高い推論オーバーヘッドが生じる。 本稿では,マルチモーダル CoT 推論を具体化するための連続潜時表現に内包する統合 VLA フレームワークである Latent Reasoning VLA (textbfLaRA-VLA) を提案する。
  論文  参考訳（メタデータ） (2026-02-01T11:34:37Z)
• Unified Embodied VLM Reasoning with Robotic Action via Autoregressive Discretized Pre-training [16.28589738595606]
  汎用ロボットシステムは広範な一般化と高精度な行動実行を実現する必要がある。 Embodied Reasoning Intelligence Quotient (ERIQ)は,ロボット操作における大規模実施推論ベンチマークである。 本研究では、連続制御を離散シーケンスに変換するフローマッチングベースのアクショントークンであるFACTを提案する。
  論文  参考訳（メタデータ） (2025-12-30T10:18:42Z)
• CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
  視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。 視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。 実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
  論文  参考訳（メタデータ） (2025-03-27T22:23:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。