論文の概要: Devol-ONE: One Autoregressive Mixture of Transformers to Unify Vision-Language-Action and Latent World Modeling

• arxiv url: http://arxiv.org/abs/2609.32193v2
• Date: Thu, 01 Oct 2026 06:42:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.365352
• Title: Devol-ONE: One Autoregressive Mixture of Transformers to Unify Vision-Language-Action and Latent World Modeling
• Title（参考訳）: Devol-One: ビジョンランゲージ・アクションと潜在世界モデリングを統合するトランスフォーマーの自己回帰混合
• Abstract要約: 本稿では,視覚言語理解,潜在世界ダイナミクス予測,行動生成をひとつの自己回帰フレームワーク内で統合するトランスフォーマーアーキテクチャであるDevol-ONEを提案する。 LIBERO, LIBERO-PLUS, RoboTwin2.0およびFlexivのシングルアームとデュアルアームの実際の評価を行った。
• 参考スコア（独自算出の注目度）: 0.7329200485567826
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Vision Language Action (VLA) models condition actions directly on current visual and language context, without an explicit account of how the scene evolves under candidate actions. World Action Models (WAM) attempt to address this limitation by predicting future states, but existing designs keep prediction and policy learning architecturally separate, connecting them only through the predicted output, whether through pixel space video generation or a latent forecasting module trained independently of the policy. We present Devol-ONE, a Mixture of Transformers architecture that unifies vision language understanding, latent world dynamics prediction, and action generation within a single autoregressive framework. Instead of encoding vision language tokens once and feeding them to the action expert, Devol-ONE runs autoregressive prediction jointly across a vision language stream and a V-JEPA pretrained dynamics stream, attending to the vision language key-value cache at every layer to forecast future latent states under language guidance. The action expert is in turn shaped continuously by semantic reasoning and predicted physical dynamics rather than by a fixed representation computed in advance. Extensive experiments are conducted on LIBERO, LIBERO-PLUS, RoboTwin2.0 along with real-world evaluation on Flexiv single-arm and dual-arm setups. Ablation studies show the effectiveness of dynamic stream prediction and layer-wise unified attention to validate our model architectural coherency.
• Abstract（参考訳）: 視覚言語アクション(VLA)は、現在の視覚および言語コンテキストに直接条件アクションをモデル化する。 World Action Models (WAM) は将来の状態を予測することでこの制限に対処しようとするが、既存の設計では予測とポリシー学習をアーキテクチャ的に分離し、予測出力を通してのみ接続する。 本稿では,視覚言語理解,潜在世界ダイナミクス予測,行動生成をひとつの自己回帰フレームワーク内で統合するトランスフォーマーアーキテクチャであるDevol-ONEを提案する。 Devol-ONEは、視覚言語トークンを一度エンコードしてアクションエキスパートに送る代わりに、視覚言語ストリームとV-JEPA事前トレーニングされた動的ストリームを共同で自動回帰予測を実行し、各レイヤの視覚言語キーバリューキャッシュに参加し、言語ガイダンスの下で将来の潜伏状態を予測する。 アクションエキスパートは、事前に計算された固定表現ではなく、セマンティック推論と予測物理力学によって連続的に形づくられる。 LIBERO, LIBERO-PLUS, RoboTwin2.0, およびFlexivシングルアームとデュアルアームの実際の評価を行った。 アブレーション研究は、動的ストリーム予測と階層的に統一された注意力によるアーキテクチャの整合性検証の有効性を示す。

関連論文リスト

• VIDEAS: Distilling Explicit Action Semantics from Demonstration Videos for World Models via Prior-Guided Simulation [22.76020564718702]
  VIDEASは、連続的な物理力学を基礎モデルのための明示的なアクションセマンティクスに変換するデータ蒸留フレームワークである。 AgiBot-Worldデータセットから34Kの高品質なサンプルを学習した言語ベースワールドモデルの8B/9BパラメータスイートであるVIDEAS-WMを提案する。
  論文  参考訳（メタデータ） (2026-09-27T11:19:17Z)
• From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
  将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。 我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2026-05-12T14:15:16Z)
• Causal World Modeling for Robot Control [56.31803788587547]
  ビデオワールドモデルは、アクションと視覚力学の因果関係を理解することによって、近い将来に想像できる能力を提供する。 本稿では,フレーム予測とポリシ実行を同時に学習する自動回帰拡散フレームワークLingBot-VAを紹介する。 シミュレーションベンチマークと実世界のシナリオの両方でモデルを評価したところ、長距離操作、ポストトレーニングにおけるデータ効率、新しい構成への強力な一般化性などに大きな可能性を示唆している。
  論文  参考訳（メタデータ） (2026-01-29T17:07:43Z)
• Ego-centric Predictive Model Conditioned on Hand Trajectories [52.531681772560724]
  自我中心のシナリオでは、次の行動とその視覚的結果の両方を予測することは、人間と物体の相互作用を理解するために不可欠である。 我々は,エゴセントリックなシナリオにおける行動と視覚的未来を共同でモデル化する,統合された2段階予測フレームワークを提案する。 我々のアプローチは、エゴセントリックな人間の活動理解とロボット操作の両方を扱うために設計された最初の統一モデルである。
  論文  参考訳（メタデータ） (2025-08-27T13:09:55Z)
• DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge [41.030494146004806]
  本稿では,逆動力学モデリングを実現するために,包括的世界知識予測を統合した新しいVLAフレームワークであるDreamVLAを提案する。 DreamVLAは、動的領域誘導の世界知識予測を導入し、空間的および意味的な手がかりと統合し、アクション計画のためのコンパクトで包括的な表現を提供する。 実世界とシミュレーション環境での実験では、ドリームVLAが実際のロボットタスクで76.7%の成功率を達成したことが示されている。
  論文  参考訳（メタデータ） (2025-07-06T16:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。