論文の概要: StressDream: Steering Video World Models for Robust Policy Evaluation and Improvement
- arxiv url: http://arxiv.org/abs/2606.00267v1
- Date: Fri, 29 May 2026 18:57:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.19234
- Title: StressDream: Steering Video World Models for Robust Policy Evaluation and Improvement
- Title(参考訳): StressDream:ロバストな政策評価と改善のためのステアリングビデオワールドモデル
- Abstract要約: ビデオワールドモデル(WM)は、政策評価と改善の約束を示す。
StressDreamは、推論時に特定された高インパクトでもっとも妥当な結果に対して想像力を働かせる。
我々は,ScressDreamが,テキストの推測時に,高インパクトかつ妥当な結果に対して,効果的にイマジネーションを導出することを示す。
- 参考スコア(独自算出の注目度): 39.19584571757536
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video world models (WMs) have shown promise for policy evaluation and improvement by imagining realistic future observations conditioned on ego-robot actions. While WMs can model distributions over futures, policy evaluation and improvement typically rely on nominal imaginations, which can miss high-impact outcomes of robot actions unless prohibitively many samples are drawn. To enable robust policy evaluation and improvement over WM imaginations, we propose StressDream, which steers imaginations toward high-impact yet plausible outcomes specified at inference time by optimizing the initial noise of diffusion-based WMs. However, optimizing high-dimensional noise is challenging: the optimization must reason about nuanced, scene-dependent target events in generated videos while avoiding out-of-distribution (OOD) noise that yields implausible imaginations. We address this with two complementary objectives: a semantic objective with a Vision-Language Model that provides informative gradients by reasoning about the generated video, and a plausibility objective that prevents the optimized noise from drifting OOD. With state-of-the-art video world models for autonomous driving and robotic manipulation, we show that StressDream effectively steers imaginations toward high-impact yet plausible outcomes specified by text at inference time, such as task failures, enabling robust policy evaluation and improvement by identifying actions whose plausible futures include undesirable outcomes. Video results are available at https://junwon.me/StressDream/.
- Abstract(参考訳): ビデオワールドモデル(WM)は,エゴロボット行動に照らされた現実的な未来観測を想像することで,政策評価と改善の約束を示す。
WMは未来の分布をモデル化できるが、政策評価と改善は一般的に名目上の想像力に頼っている。
WMイマジネーションに対するロバストな政策評価と改善を実現するために,拡散型WMの初期雑音を最適化し,推論時に特定される高インパクトで妥当な結果に向けて,イマジネーションを操るScressDreamを提案する。
しかし、高次元ノイズの最適化は困難である: 最適化は、生成したビデオにおけるニュアンスでシーン依存のターゲットイベントを推論し、不明瞭な想像力を生み出すオフ・オブ・ディストリビューション(OOD)ノイズを避ける必要がある。
本稿では、生成した映像を推論して情報的勾配を与える視覚言語モデルを用いた意味的目的と、最適化された雑音がOODをドリフトするのを防ぐ可視性目的の2つの相補的目的に対処する。
自律運転とロボット操作のための最先端のビデオワールドモデルを用いて、ScressDreamは、タスク障害などの推論時にテキストによって特定される高インパクトでもっともらしい結果に対して、効果的に想像力を駆り立て、望ましくない結果を含む行動を特定することで、堅牢な政策評価と改善を可能にする。
ビデオの結果はhttps://junwon.me/StressDream/.comで公開されている。
関連論文リスト
- From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。
我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文 参考訳(メタデータ) (2026-05-12T14:15:16Z) - VAMPO: Policy Optimization for Improving Visual Dynamics in Video Action Models [46.94937828558026]
政策最適化により映像アクションモデルにおける視覚力学を直接改善する後学習フレームワークであるVAMPOを提案する。
私たちのキーとなるアイデアは、シーケンシャルな決定プロセスとしてマルチステップの認知を定式化し、専門家の視覚力学上で定義された認知の報酬を最適化することです。
多様なシミュレートされた実世界の操作タスクにまたがって、VAMPOはタスク関連視覚力学を改善し、より下流でのアクション生成とより強力な一般化をもたらす。
論文 参考訳(メタデータ) (2026-03-19T18:04:03Z) - GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。
実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
論文 参考訳(メタデータ) (2026-03-18T00:52:02Z) - STORM: Search-Guided Generative World Models for Robotic Manipulation [10.365032830677162]
STORMはロボット操作における時間的推論のためのフレームワークである。
拡散に基づくアクション生成、条件付きビデオ予測、検索ベースの計画を統合する。
ストームは視覚的に計画を立て、解釈可能でフォアサイト駆動の意思決定を可能にする。
論文 参考訳(メタデータ) (2025-12-20T19:40:25Z) - Evaluating Gemini Robotics Policies in a Veo World Simulator [69.23071832313246]
我々はフロンティアビデオ基盤モデル(Veo)に基づく生成的評価システムを導入する。
このシステムは、ロボットアクションコンディショニングとマルチビュー一貫性をサポートするよう最適化されている。
我々は、Gemini Roboticsのポリシーチェックポイント8つと、バイマニュアルマニピュレータのための5つのタスクの1600以上の実世界の評価を通じて、これらの能力を検証した。
論文 参考訳(メタデータ) (2025-12-11T14:22:14Z) - WorldGym: World Model as An Environment for Policy Evaluation [41.204900701616914]
WorldGymは、実環境のプロキシとして機能する自動回帰、アクション条件付きビデオ生成モデルである。
ポリシーはモンテカルロの世界モデルによるロールアウトを通じて評価され、視覚言語モデルが報酬を提供する。
We show that WorldGym can maintain relative policy rankings across different policy version, sizes, and training checkpoints。
論文 参考訳(メタデータ) (2025-05-31T15:51:56Z) - Improving Dynamic Object Interactions in Text-to-Video Generation with AI Feedback [130.090296560882]
テキスト・ビデオ・モデルにおけるオブジェクトの動的性を高めるためのフィードバックの利用について検討する。
本手法は,動的インタラクションにおける映像品質の大幅な向上を駆動するバイナリAIフィードバックを用いて,多様な報酬を効果的に最適化できることを示す。
論文 参考訳(メタデータ) (2024-12-03T17:44:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。