論文の概要: SWAM: Scaling World Action Models with Cross-Modal Alignment
- arxiv url: http://arxiv.org/abs/2611.12870v2
- Date: Wed, 11 Nov 2026 05:53:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.893558
- Title: SWAM: Scaling World Action Models with Cross-Modal Alignment
- Title(参考訳): SWAM: クロスモーダルアライメントによるワールドアクションモデルのスケーリング
- Abstract要約: 世界アクションモデルは、言語で条件付けられたビデオとアクションを共同で予測する。
本稿では,この2つの形態の併用がWAM性能に与える影響について検討する。
- 参考スコア(独自算出の注目度): 41.962840920639565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World action models jointly predict video and actions conditioned on language. Existing studies focus primarily on architectures and training mechanisms, typically treating language-video alignment acquired through video pretraining as an established foundation. However, introducing action learning may impair this alignment. Principled guidance on data and supervision design for maintaining language-video alignment during action learning remains limited. To investigate this, we curate a pool of approximately 47,000 hours of general videos, egocentric videos, UMI demonstrations, and robot demonstrations. Building on this, we systematically study how language-video supervision, language-video-action supervision, and the joint use of these two forms affect WAM performance. In particular, we examine how language annotation quality affects pretrained language-video capabilities, and how action supervision from UMI and robot demonstrations extends these capabilities to language-video-action modeling. To better scale the model, we further conduct detailed studies on joint training recipe and model architecture. Under a fixed training budget, mixing egocentric videos and UMI demonstrations improves control generalization. Model architecture affects how effectively these experiences are used, while scaling pretraining under the selected configuration brings further gains. The resulting recipe, post-trained on RoboTwin Clean demonstrations only, achieves success rates of 88.10% and 61.56% under Easy (Clean-to-Clean) and Hard (Clean-to-Random) conditions, respectively. Our model achieves 40.00% SR across three real-world tasks, compared with 23.33% for the strongest baseline, indicating better generalization under unseen conditions. We release the curated data, training code, and model weights.
- Abstract(参考訳): 世界アクションモデルは、言語で条件付けられたビデオとアクションを共同で予測する。
既存の研究は、主にアーキテクチャとトレーニングの仕組みに焦点を当てており、一般的には、ビデオ事前学習を通じて獲得した言語とビデオのアライメントを、確立された基礎として扱う。
しかし、アクション学習の導入は、このアライメントを損なう可能性がある。
行動学習における言語と映像のアライメントを維持するためのデータと監督設計に関する原則的ガイダンスは依然として限られている。
これを調べるため,約47,000時間の一般的なビデオ,エゴセントリックなビデオ,UMIデモ,ロボットデモのプールをキュレートした。
そこで我々は,この2つの形態の併用がWAM性能に与える影響を,言語・ビデオ・監督,言語・ビデオ・アクション・監督,および共同使用が系統的に研究した。
特に,言語アノテーションの品質が事前訓練された言語・ビデオ機能にどのように影響するか,UMIとロボットによる動作監視が言語・ビデオ・アクション・モデリングにどのように拡張するかを検討する。
モデルのスケールを向上するために,共同トレーニングのレシピとモデルアーキテクチャについて,さらに詳細な研究を行う。
一定のトレーニング予算の下では、エゴセントリックなビデオとUMIデモを混ぜることで、コントロールの一般化が向上する。
モデルアーキテクチャは、これらのエクスペリエンスがいかに効果的に使用されるかに影響します。
RoboTwinのクリーンなデモでのみトレーニングされたレシピは、イージー(Clean-to-Clean)とハード(Clean-to-Random)の条件下で、それぞれ88.10%と61.56%の成功率を達成した。
我々のモデルは3つの実世界のタスクで40.00%のSRを達成するが、最強のベースラインでは23.33%であり、目に見えない条件下でのより良い一般化を示している。
キュレートされたデータ、トレーニングコード、モデルウェイトをリリースします。
関連論文リスト
- WOVEN: Weaving Visual World Modeling into Multimodal LLMs [84.25894537929223]
マルチモーダル大言語モデル(MLLM)は、空間的、具体的、物理的、時間的推論に苦しむ。
視覚遷移推論のためのトレーニングソースおよびベンチマークであるWOVENを紹介する。
MLLMを複数のスケールでトレーニングし、広く伝達する共有能力を学ぶ。
論文 参考訳(メタデータ) (2026-10-08T17:52:03Z) - DeVA: Decoupled Video-Action Model with physical guidance for robot policy learning [28.673173377342593]
一般的なロボット操作は、言語命令を実行しながら視覚シーンがどのように進化するかを予測するポリシーを必要とする。
DeVAはDecoupled Video-Actionモデルであり、特殊ビデオとアクションの専門家、多レベル機能転送、物理的ガイダンスを備えている。
シミュレーションベンチマークと実世界のデプロイの両方の実験では、限られたデータによる強力なパフォーマンス、統一アーキテクチャよりも高速な収束、物理的ガイダンスによるパフォーマンス向上が示されている。
論文 参考訳(メタデータ) (2026-07-27T08:37:35Z) - From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。
この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。
この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
論文 参考訳(メタデータ) (2026-05-18T06:19:16Z) - CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos [73.51386721543135]
本稿では,映像から視覚的潜伏空間をロボット軌道から受容的潜伏空間に整列させるフレームワークであるContrastive Latent Action Pretraining (CLAP)を提案する。
CLAPは、ビデオの遷移を量子化され、物理的に実行可能なコードブックにマッピングする。
本稿では,命令追従やオブジェクトの一般化に優れた自己回帰モデルであるCLAP-NTPと,高頻度かつ高精度な操作のために設計されたRectified FlowベースのポリシーであるCLAP-RFの両方を提供する二重形式VLAフレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-07T16:26:33Z) - Rethinking Visual Intelligence: Insights from Video Pretraining [75.32388528274224]
大規模言語モデル(LLM)は、大規模事前学習によってシステムが新しい問題に迅速に適応できることを実証している。
本稿では,映像拡散モデル(VDM)をギャップを埋めるための有望な方向として検討する。
論文 参考訳(メタデータ) (2025-10-28T14:12:11Z) - Latent Action Pretraining Through World Modeling [1.988007188564225]
自己教師型手法で模倣学習モデルを事前学習するためのモデルに依存しないフレームワークであるLAWMを提案する。
当社のフレームワークは,タスクや環境,実施環境の移動に有効であるように設計されています。
論文 参考訳(メタデータ) (2025-09-22T21:19:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。