論文の概要: What Makes World Action Models Generalize? An Empirical Study of Test-Time Future Modeling
- arxiv url: http://arxiv.org/abs/2609.34981v2
- Date: Tue, 29 Sep 2026 03:39:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.788502
- Title: What Makes World Action Models Generalize? An Empirical Study of Test-Time Future Modeling
- Title（参考訳）: 世界行動モデルが一般化する理由 : テスト・タイム・フューチャー・モデリングの実証的研究
- Abstract要約: 世界行動モデル(WAM)は、トレーニング中の行動と共に未来を予測する。
WAMは、分散処理タスクにおいて明示的なタスクと一致するが、もともとWAMを動機付けていた一般化の利点を保たないことがわかった。
提案するSimple-WAMは,将来のモデリングを完全ノイズ付きビデオトークンの1つの前方通過に単純化する。
- 参考スコア（独自算出の注目度）: 60.33876128319945
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World action models (WAMs) predict the future alongside actions during training. Due to the heavy computation cost of video denoising, whether the future must still be generated during inference is disputed: Explicit WAMs denoise it into clean frames along with every action chunk, whereas Latent WAMs discard it entirely for acceleration. We find that latent WAMs, despite matching explicit ones on in-distribution tasks, fail to retain the generalization benefits that originally motivated WAMs. To demonstrate this, we evaluate generalization along three axes: environmental perturbation, data efficiency, and task generalization. Controlled comparisons with a matched backbone, training data, and budget reveal consistent degradation across all three axes when the action expert no longer conditions on future representations. Further analysis shows that the gap arises almost entirely from the first denoising step: the benefit comes from preparing the future, not generating it. We therefore propose Simple-WAM, which simplifies future modeling into a single forward pass of fully noised video tokens and adapts the training-time noise schedule to this inference behavior. Across simulation and real-world tasks, Simple-WAM achieves the best of both worlds, leading explicit WAMs in generalization performance with efficiency comparable to Latent WAMs. Project Page: https://zrporz.github.io/Simple-WAM-Web/
- Abstract（参考訳）: 世界行動モデル(WAM)は、トレーニング中の行動と共に未来を予測する。
WAMがすべてのアクションチャンクと共にクリーンなフレームにデノケートするのに対して、潜在WAMはアクセラレーションのために完全に破棄する。
WAMは、分散処理タスクにおいて明示的なタスクと一致するが、もともとWAMを動機付けていた一般化の利点を保たないことがわかった。
これを示すために,環境摂動,データ効率,タスク一般化の3つの軸に沿った一般化を評価する。
一致するバックボーン、トレーニングデータ、予算との制御された比較により、アクションエキスパートが将来の表現の条件をもはや満たさない場合、すべての3つの軸で一貫した劣化が明らかになる。
さらなる分析により、このギャップは第1段階からほぼ完全に生じることが示される。
そこで本研究では,将来のモデリングを完全ノイズ付きビデオトークンの1つの前方通過に単純化し,この推論行動にトレーニング時間ノイズスケジュールを適用するSimple-WAMを提案する。
シミュレーションと実世界のタスクを通して、Simple-WAMは両方の世界のベストを達成し、遅延WAMに匹敵する効率で一般化性能を向上する。
Project Page: https://zrporz.github.io/Simple-WAM-Web/
関連論文リスト
- Modality-Autoregressive World-Action Models [44.96048693516864]
我々は,行動を予測する前に,複数の将来のモダリティを自己回帰的に認知する最初のWAMであるModARを紹介する。
我々は、スクラッチからトレーニングを行い、トレーニングデータの混合、予測モダリティ、WAMの定式化がパフォーマンスにどのように影響するかを体系的に研究する。
論文 参考訳（メタデータ） (2026-09-15T17:56:24Z) - Robust-WAM: Bridging Generative Pretraining and Semantic Foresight in World-Action Models [24.27863433568267]
本稿では,ビデオジェネレータを用いたWAMのポストトレーニング手法であるRobust-WAMを提案する。
学習可能な問合せトークンを用いて、将来の接地木フレームのセマンティックフォアフォアに出力された隠れ状態を調整することで、未来のセマンティクスをアクションストリームに組み込む。
分布外一般化シミュレーションベンチマークおよび実ロボット設定実験により、ロバストWAMは分布内性能を犠牲にすることなく、複数のWAMベースラインの成功率を一貫して改善することを示した。
論文 参考訳（メタデータ） (2026-08-06T11:31:56Z) - FBFM: A Training-Free Asynchronous Feedback Mechanism for Flow-Matching in World-Action Models Execution [50.18922379062543]
フィードバックフローマッチング(Feedback Flow Matching, FBFM)は、アクティブに生成されたチャンク内で再接地を行うトレーニング不要な推論機構である。
トレーニング不要であるため、このメカニズムは予期せぬ事象に対する応答性を改善し、長時間の作業におけるドリフトを抑制する。
我々は,FBFMを第2世代WAMと第2世代WAMの両方で評価した。
論文 参考訳（メタデータ） (2026-07-31T10:11:09Z) - World Action Models: A Survey [100.95337034529263]
ワールドアクションモデル(World Action Models, WAM)は、将来を予測できる予測モデルである。
近年のWAMは大規模なビデオ生成モデルを再利用しており、並列線はビデオ生成コアを持たない言語や視覚言語によるバックボーンに依存している。
この調査は、フィールドに共通の説明を与えます。まず、これらの境界を明確にし、2つの補完的な視点で既存の作業を整理します。
論文 参考訳（メタデータ） (2026-06-18T17:05:19Z) - NoiseGate: Learning Per-Latent Timestep Schedules as Information Gating in World Action Models [19.272356473995245]
World Action Models (WAM) は、ロボットアクション生成と将来の観測モデリングを結びつけるポリシーである。
NoiseGateは軽量なゲーティングポリシーネットワークで、遅延時間当たりのインクリメントをデノイング中に出力する。
NoiseGateは多様なRoboTwinランダムシーン操作タスクに対して一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-08T14:31:52Z) - When to Think, When to Speak: Learning Disclosure Policies for LLM Reasoning [60.714416943748866]
シングルストリームの自己回帰インターフェースでは、同じトークンがモデル状態を更新し、不可逆的な公約を構成する。
そこで我々は,Side-by-Side (SxS) Interleaved Reasoningを導入する。
論文 参考訳（メタデータ） (2026-05-05T02:59:58Z) - Fast-WAM: Do World Action Models Need Test-time Future Imagination? [39.17692664456295]
世界行動モデル(WAM)は、身体制御のためのビジョン・ランゲージ・アクション(VLA)モデルに代わる有望な代替品として登場した。
我々は、WAMがテスト時に明らかに将来的な想像力を必要とするのか、それともトレーニング中に主にビデオモデリングから得られる利益なのかを問う。
我々は、トレーニング中にビデオのコトレーニングを継続するが、テスト時に将来の予測を省略するWAMアーキテクチャであるFast-WAMを提案する。
論文 参考訳（メタデータ） (2026-03-17T15:33:43Z) - FLARE: Robot Learning with Implicit World Modeling [87.81846091038676]
$textbfFLARE$は、予測潜在世界モデリングをロボットポリシー学習に統合する。
$textbfFLARE$は最先端のパフォーマンスを実現し、これまでのポリシー学習のベースラインを最大26%上回っている。
この結果は、暗黙の世界モデリングと高周波ロボット制御を組み合わせた汎用的でスケーラブルなアプローチとして$textbfFLARE$を確立した。
論文 参考訳（メタデータ） (2025-05-21T15:33:27Z) - TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。
TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。
また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
論文 参考訳（メタデータ） (2024-05-27T05:45:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。