論文の概要: StarWM: Self-Supervised Trained Attention Routing for Robust World Models
- arxiv url: http://arxiv.org/abs/2609.30667v1
- Date: Fri, 25 Sep 2026 01:14:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.180647
- Title: StarWM: Self-Supervised Trained Attention Routing for Robust World Models
- Title(参考訳): StarWM:ロバストな世界モデルのための自己監督型トレーニングアテンションルーティング
- Abstract要約: 堅牢な世界モデルは、環境力学を忠実に捉え、無関係なコンテンツから抽象化することのバランスを取らなければならない。
本稿では,自己教師付きダイナミクスに基づいてトレーニングされたクロスアテンションモジュールを用いて,再構築の場所を決定するStarWMを提案する。
ダイナミックなビデオ背景を持つDeepMind Controlでは、デフォルト(逆フリー)のStarWMがランダムフレームのイントラクタの下で最強のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 3.626632189960684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A robust world model must strike the balance between faithfully capturing environmental dynamics and abstracting away from irrelevant content. While reconstruction-based world models ensure faithful supervision, they misallocate representational capacity by pixel area rather than dynamics relevance for visual tasks, which can cause task-irrelevant content to dominate the learned representation. Alternatively, reconstruction-free methods avoid this bias but risk discarding possibly relevant information. We propose StarWM, which uses a cross-attention module trained on self-supervised dynamics to decide where reconstruction applies. A dual-stream decoder then restricts reconstruction to the attended regions, with stop-gradient barriers preventing interference between the two objectives. These components allows reconstruction to supervise the visual content of attended regions without contaminating the latent with non-predictive information. On DeepMind Control with dynamic video backgrounds, default (reward-free) StarWM achieves the strongest performance under random-frame distractors and substantially outperforms reconstruction-based baselines under sequential video. In addition, its reward-augmented variant matches or exceeds reconstruction-free methods on sequential video, achieving the highest overall return across all distractor regimes. Mechanistic probing confirms StarWM preserves state attributes with near-perfect fidelity through long-horizon imagination while systematically discarding distractors.
- Abstract(参考訳): 堅牢な世界モデルは、環境力学を忠実に捉え、無関係なコンテンツから抽象化することのバランスを取らなければならない。
再構成に基づく世界モデルは、忠実な監督を保証する一方で、視覚的タスクのダイナミックス関連性ではなく、ピクセル領域による表現能力の誤配分によって、タスク非関連コンテンツが学習された表現を支配している可能性がある。
あるいは、リコンストラクションフリーな手法は、このバイアスを避けるが、潜在的に関連する情報を破棄するリスクを負う。
本稿では,自己教師付きダイナミクスに基づいてトレーニングされたクロスアテンションモジュールを用いて,再構築の場所を決定するStarWMを提案する。
デュアルストリームデコーダは、2つの目的間の干渉を防止するために停止段階のバリアを伴って、参加する領域への再構成を制限する。
これらのコンポーネントは、非予測情報で潜伏者を汚染することなく、出席する領域の視覚的内容の再構築を可能にする。
ダイナミックなビデオ背景を持つDeepMind Controlでは、デフォルト(逆フリー)のStarWMはランダムフレームのイントラクタの下では最強のパフォーマンスを達成し、シーケンシャルなビデオ下ではリコンストラクションベースのベースラインを大幅に上回っている。
さらに、報酬を増進した変種は、シーケンシャルビデオの再生不要な方法と一致したり、超過している。
メカニスティックな調査により、StarWMは長距離想像を通じて状態特性をほぼ完全な忠実度で保ちつつ、系統的に妨害者を排除していることが確認された。
関連論文リスト
- MotionCraft: Latent World Modeling with Sparse Attention for Visual Upscaling [17.6321469924025]
ビデオ超解像(VSR)は、高精細度高精細度映像を低精細度入力から回収することを目的としている。
制御可能なVSRフレームワークであるMotionCraftについて述べる。
論文 参考訳(メタデータ) (2026-08-09T07:54:43Z) - Next-Acceleration-Scale Prediction for Autoregressive MRI Reconstruction [52.32112533846212]
MRI再建は本質的に不完全な逆問題である。
この制限は、再構成を離散的なマルチスケールの潜在空間に移動させ、自己回帰的次加速スケールの予測として機能させることによって解決する。
提案手法は,過度のアンサンプ下での多種多様なサンプリングパターンの再構成性能の向上を図っている。
論文 参考訳(メタデータ) (2026-05-19T04:40:50Z) - SoLAR: Error-Resilient Streamable Long-Horizon Free-Viewpoint Video Reconstruction with Anchor Activation and Latent Recalibration [57.159190580279585]
ビット割り当て理論により、速度歪み最適化フレームワーク内で動的アンカーベースのボリュームビデオ表現を解析する。
我々は,長いシーケンスの復元品質を安定的に維持する,エラー回復性の最初のFVVフレームワークである textbfSoLAR を提案する。
論文 参考訳(メタデータ) (2026-05-08T06:48:59Z) - Render, Don't Decode: Weight-Space World Models with Latent Structural Disentanglement [2.931556701508956]
補助座標に基づく暗黙的ニューラル表現(INR)の重みとバイアスとしてシステム状態を表す世界モデリングフレームワークNOVAを紹介する。
この構造化された表現は解析的にレンダリングされ、コンパクト性、可搬性、ゼロショット超解像を参照しながらデコーダのボトルネックを解消する。
当社のフレームワークは、いくつかの挑戦的なデータセット上で検証し、$sim$40Mパラメータで単一のコンシューマGPU上で運用しながら、強力な制御可能な予測を実現しています。
論文 参考訳(メタデータ) (2026-05-07T14:02:00Z) - LoCAtion: Long-time Collaborative Attention Framework for High Dynamic Range Video Reconstruction [17.88716377235245]
本稿では,脆弱な空間ワープタスクからHDR映像を生成するフレームワークであるLoCAtionを,頑健でアライメントのない協調的特徴ルーティング問題に再構成する。
Locationは最先端の視覚的品質と時間的安定性を実現し、精度と計算効率の非常に競争力のあるバランスを提供する。
論文 参考訳(メタデータ) (2026-03-15T13:34:46Z) - SMORE: Simultaneous Map and Object REconstruction [66.66729715211642]
本稿では,LiDARから大規模都市景観を動的に再現する手法を提案する。
我々は、世界が厳格に動く物体と背景に分解される動的なシーンの構成モデルを総合的に捉え、最適化する。
論文 参考訳(メタデータ) (2024-06-19T23:53:31Z) - Low-Light Video Enhancement via Spatial-Temporal Consistent Decomposition [52.89441679581216]
低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的または静的なシーンの復元を目指している。
本稿では、ビューに依存しない、ビューに依存しないコンポーネントを組み込んだ革新的なビデオ分解戦略を提案する。
我々のフレームワークは、既存のメソッドを一貫して上回り、新しいSOTAパフォーマンスを確立します。
論文 参考訳(メタデータ) (2024-05-24T15:56:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。