論文の概要: Rewiring Semantics, Dynamics, and Control: A Simple yet Effective Action-Centric Tri-Stream Transformer
- arxiv url: http://arxiv.org/abs/2610.11416v1
- Date: Thu, 08 Oct 2026 07:45:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.870188
- Title: Rewiring Semantics, Dynamics, and Control: A Simple yet Effective Action-Centric Tri-Stream Transformer
- Title（参考訳）: セマンティックス、ダイナミクス、制御をリライトする: シンプルで効果的なアクション中心のトリストリームトランス
- Abstract要約: $mathrmACT3$はAction-Centric Tri-Stream Transformerで、セマンティックおよび動的情報を制御アクションに融合する。
シミュレーションと実世界のロボット操作のベンチマークの実験は、提案された$mathrmACT3$の結果が、それよりも優れていることを示している。
- 参考スコア（独自算出の注目度）: 47.24828232115928
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language-Action (VLA) models have emerged as a prominent framework for complex robotic manipulation, building on the strong semantic understanding of pretrained Vision-Language Models (VLMs). However, such VLM backbones offer insufficient physical dynamics priors, which limits the generalization capabilities of robot policies. Recent efforts therefore integrate video-generation World Models (WMs) into robot policies through various strategies, using predictive dynamics to facilitate action generation. Despite these advances, harnessing semantic understanding and dynamics prediction as complementary guidance for action generation remains challenging. In this paper, we introduce $\mathrm{ACT}^3$, a simple yet effective Action-Centric Tri-Stream Transformer that fuses semantic and dynamics information into control actions while preserving the distinct roles of context streams. Specifically, $\mathrm{ACT}^3$ enables the dedicated action expert to access VLM and WM representations through layerwise attention, with each backbone attending only within its own stream. This straightforward interaction design maintains independent forward propagation in the context streams while allowing both backbones to be updated through control supervision. Experiments on both simulated and real-world robotic manipulation benchmarks show that the proposed $\mathrm{ACT}^3$ yields results superior to its counterparts.
- Abstract（参考訳）: Vision-Language-Action(VLA)モデルは、事前訓練されたVision-Language Models(VLM)の強力なセマンティック理解に基づいて、複雑なロボット操作のための顕著なフレームワークとして登場した。
しかしながら、これらのVLMバックボーンは、ロボットポリシーの一般化能力を制限する、物理力学の事前性に乏しい。
近年の取り組みは,映像生成ワールドモデル(WM)を様々な戦略を通じてロボットポリシーに統合し,行動生成を促進するための予測力学を用いている。
これらの進歩にもかかわらず、動作生成の補完的ガイダンスとして意味理解と力学予測を活用することは依然として困難である。
本稿では、コンテキストストリームの異なる役割を保ちながら、意味的および動的情報を制御アクションに融合する、シンプルで効果的なアクション中心のトリストリーム変換器である$\mathrm{ACT}^3$を紹介する。
具体的には、$\mathrm{ACT}^3$は、各バックボーンが自身のストリーム内でのみ参加して、VLMおよびWM表現へのアクセスを可能にする。
この直接的なインタラクション設計は、コンテキストストリーム内の独立した前方伝播を維持しながら、両バックボーンを制御監視を通じて更新することができる。
シミュレーションと実世界のロボット操作のベンチマークの実験では、提案された$\mathrm{ACT}^3$の結果が、それよりも優れていることが示されている。
関連論文リスト
- EWAM: Emergent Depth-Wise Specialization in a Unified Embodied Model -- From Semantic Understanding through Visual Foresight to Action [65.7650775259592]
視覚言語行動(VLA)ポリシーは意味理解を重視し、世界行動モデル(WAM)は環境力学の予測表現を学習する。
本研究では,アクション中心の統一型エンボディモデルであるEWAMについて述べる。
論文 参考訳（メタデータ） (2026-09-30T15:35:53Z) - ABot-M0.5: Unified Mobility-and-Manipulation World Action Model [27.262271208923995]
ABot-M0.5は、モバイル操作には時間的粒度、アクションスペース、列車-テスト整合性の3段階のアライメントが必要であるという洞察に基づいて構築されている。
モバイルおよびきめ細かい操作ベンチマークの実験により、ABot-M0.5は、長距離タスクの成功ときめ細かい制御精度の両方において最先端の性能を達成することが示された。
論文 参考訳（メタデータ） (2026-07-01T09:21:20Z) - AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。
AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2026-06-04T13:28:51Z) - From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。
我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文 参考訳（メタデータ） (2026-05-12T14:15:16Z) - Cortical Policy: A Dual-Stream View Transformer for Robotic Manipulation [57.28703268044067]
ロボット操作のための新しいデュアルストリームビュー変換器であるCortical Policyを提案する。
われわれのフレームワークは、ロボット操作の新しい視点を提供し、視覚に基づくロボット制御の幅広い応用の可能性を秘めている。
論文 参考訳（メタデータ） (2026-03-22T04:18:54Z) - mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs [5.109732854501585]
そこで我々は,事前学習したインターネットスケールのビデオモデルと,その潜在表現に条件付けされたフローマッチングに基づくアクションデコーダを組み合わせた,新しいビデオ・アクション・モデル(VAM)を提案する。
提案手法は,シミュレーションおよび実世界のロボット操作タスクにおける最先端性能を実現し,サンプル効率を10倍,収束速度を2倍向上させる。
論文 参考訳（メタデータ） (2025-12-17T18:47:31Z) - DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation [52.136378691610524]
本稿では、3次元認識と動的インフォームド三面体特徴を学習する表現学習フレームワークDynaRendを紹介する。
マルチビューRGB-Dビデオデータに基づく事前トレーニングにより、DynaRendは空間幾何学、将来のダイナミクス、タスク意味を統合された三面体表現で共同でキャプチャする。
我々は、RLBenchとColosseumという2つの挑戦的なベンチマークでDynaRendを評価し、政策成功率、環境摂動の一般化、様々な操作タスクにおける実世界の適用性などを大幅に改善した。
論文 参考訳（メタデータ） (2025-10-28T10:17:11Z) - Mechanistic interpretability for steering vision-language-action models [0.23371356738437823]
VLA(Vision-Language-Action)モデルは、一般のエンボディエージェントを実現するための有望な道である。
本稿では,VLAを内部表現で解釈し,操作するための最初のフレームワークを紹介する。
我々は、微調整、報酬信号、環境相互作用を伴わずに、リアルタイムに行動を調整する汎用的なアクティベーションステアリング手法を提案する。
論文 参考訳（メタデータ） (2025-08-30T03:01:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。