論文の概要: TS-WAM: Temporal Latent Actions and World-Action Coupling for Vision-Language Robot Control
- arxiv url: http://arxiv.org/abs/2610.21922v1
- Date: Thu, 15 Oct 2026 14:05:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.104224
- Title: TS-WAM: Temporal Latent Actions and World-Action Coupling for Vision-Language Robot Control
- Title（参考訳）: TS-WAM:視覚言語ロボット制御のための時間潜在行動と世界行動結合
- Abstract要約: TS-WAM, 軽量教師学習型ワールド・アクション・モデルを提案する。
vlm-jepaフレームワークは、ロボットのデモやアクションフリーの人間ビデオなど、異種データから学習する。
TS-WAMは, 高い操作性能, 一般化, 堅牢性を実現する。
- 参考スコア（独自算出の注目度）: 15.376484568547765
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Many vision-language-action policies rely on action-labeled robot demonstrations and lack an explicit mechanism for predicting future visual states. These limitations hinder learning from action-free videos and can encourage overfitting to demonstration conditions, weakening generalization and robustness. We present TS-WAM, a lightweight Teacher-Student World-Action Model that addresses these challenges through self-supervised temporal learning and explicit future prediction. Its vlm-jepa framework learns from heterogeneous data, including robot demonstrations and action-free human videos, using an EMA target branch without requiring a separately trained external teacher. By coupling vlm-jepa with delta-lwm, TS-WAM learns to predict latent actions from the current observation and instruction and uses them to predict future visual features that guide action generation at inference. A unified end-to-end training architecture jointly optimizes temporal representation learning, visual dynamics, and robot control without a separate latent-action or world-model pretraining stage. The EMA target branch is removed at inference, keeping the deployed policy lightweight. Experiments on LIBERO, LIBERO-Plus, and SimplerEnv, together with real-world manipulation experiments on Franka Research 3 and RevoTron, demonstrate that TS-WAM achieves strong manipulation performance, generalization, and robustness.
- Abstract（参考訳）: 多くの視覚-言語-アクションポリシーは、アクションラベル付きロボットのデモンストレーションに依存しており、将来の視覚状態を予測するための明確なメカニズムが欠如している。
これらの制限は、アクションフリービデオからの学習を妨げるとともに、デモ条件への過度な適合を奨励し、一般化と堅牢性を弱める。
TS-WAMは,自己教師型時間学習と明示的な将来予測を通じて,これらの課題に対処する軽量な教師型世界行動モデルである。
vlm-jepaフレームワークは、ロボットデモやアクションフリーの人間ビデオを含む異種データから学習する。
vlm-jepa と delta-lwm を結合することにより、TS-WAM は現在の観測と指示から潜時動作を予測し、推論時の行動生成を導く将来の視覚的特徴を予測する。
統合されたエンドツーエンドトレーニングアーキテクチャは、時間的表現学習、視覚力学、ロボット制御を、別個の潜在動作またはワールドモデル事前訓練ステージなしで共同で最適化する。
EMAターゲットブランチは推論時に削除され、デプロイされたポリシが軽量になる。
LIBERO、LIBERO-Plus、SimplerEnvの実験は、Franka Research 3とRevoTronの実際の操作実験とともに、TS-WAMが強力な操作性能、一般化、堅牢性を達成することを示した。
関連論文リスト
- EWAM: Emergent Depth-Wise Specialization in a Unified Embodied Model -- From Semantic Understanding through Visual Foresight to Action [65.7650775259592]
視覚言語行動(VLA)ポリシーは意味理解を重視し、世界行動モデル(WAM)は環境力学の予測表現を学習する。
本研究では,アクション中心の統一型エンボディモデルであるEWAMについて述べる。
論文 参考訳（メタデータ） (2026-09-30T15:35:53Z) - Vid2WAM: Distilling Video Diffusion Priors into World Action Models [59.28345153395937]
世界行動モデル(WAM)は、将来の視覚力学とアクションを共同でモデル化することで、ロボットポリシー学習を改善する。
大規模なビデオ基礎モデルからコンパクトなWAM学生へ視覚拡散を先取りするオフライン蒸留フレームワークであるVid2WAMを提案する。
Vid2WAMは、限られた専門家によるデモンストレーションにおいて、新しいタスクの一般化とデータ効率を向上させる。
論文 参考訳（メタデータ） (2026-08-09T08:02:49Z) - SelfWAM: A Self-Grounded Unified World Action Model for Fast Robot Control [38.11007351456953]
世界行動モデル(WAM)は、アクションと将来の観察を共同でモデル化することで、ロボットポリシー学習を改善する。
本稿では,モダリティに特化したMixture-of-Transformers (MoT) アーキテクチャ上に構築された,自己接地型WAMであるSelfWAMを紹介する。
我々は、より行動に敏感な未来を生み出し、迅速な政策推論を保ちつつ、政策性能を改善していることを示す。
論文 参考訳（メタデータ） (2026-08-01T15:47:29Z) - DeVA: Decoupled Video-Action Model with physical guidance for robot policy learning [28.673173377342593]
一般的なロボット操作は、言語命令を実行しながら視覚シーンがどのように進化するかを予測するポリシーを必要とする。
DeVAはDecoupled Video-Actionモデルであり、特殊ビデオとアクションの専門家、多レベル機能転送、物理的ガイダンスを備えている。
シミュレーションベンチマークと実世界のデプロイの両方の実験では、限られたデータによる強力なパフォーマンス、統一アーキテクチャよりも高速な収束、物理的ガイダンスによるパフォーマンス向上が示されている。
論文 参考訳（メタデータ） (2026-07-27T08:37:35Z) - WALA Learning Executable Latent Actions from Action-Labeled Demonstrations and Action-Free Videos [38.959415159248046]
WALAは、アクションラベル付きデモとアクションフリービデオの両方から実行可能な潜在アクションを学ぶためのフレームワークである。
WALAはRoboTwin上で高いパフォーマンスを実現し,RoboCasa上での最先端の成果を平均75.2%で実現している。
論文 参考訳（メタデータ） (2026-07-13T11:02:04Z) - From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。
この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。
この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
論文 参考訳（メタデータ） (2026-05-18T06:19:16Z) - From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。
我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文 参考訳（メタデータ） (2026-05-12T14:15:16Z) - GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。
実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
論文 参考訳（メタデータ） (2026-03-18T00:52:02Z) - ConLA: Contrastive Latent Action Learning from Human Videos for Robotic Manipulation [27.54751123419347]
人間のビデオからロボットポリシーを学習するための教師なし事前学習フレームワークであるConLAを提案する。
人間のビデオのみに事前学習を行うことで、実際のロボット軌道事前学習で得られた性能を初めて上回ります。
論文 参考訳（メタデータ） (2026-01-31T06:40:57Z) - CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos [73.51386721543135]
本稿では,映像から視覚的潜伏空間をロボット軌道から受容的潜伏空間に整列させるフレームワークであるContrastive Latent Action Pretraining (CLAP)を提案する。
CLAPは、ビデオの遷移を量子化され、物理的に実行可能なコードブックにマッピングする。
本稿では,命令追従やオブジェクトの一般化に優れた自己回帰モデルであるCLAP-NTPと,高頻度かつ高精度な操作のために設計されたRectified FlowベースのポリシーであるCLAP-RFの両方を提供する二重形式VLAフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-07T16:26:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。