論文の概要: Frechet Forcing: Training Long-Horizon Streaming World Models from Short Clips
- arxiv url: http://arxiv.org/abs/2610.25666v1
- Date: Mon, 19 Oct 2026 02:12:39 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:21:22.354396
- Title: Frechet Forcing: Training Long-Horizon Streaming World Models from Short Clips
- Title(参考訳): Frechet Forcing:ショートクリップによる長距離ストリーミングワールドモデルのトレーニング
- Abstract要約: ストリーミングビデオワールドモデルは、過去とアクションのストリームに基づいて、チャンク単位で未来のチャンクを生成する。
我々は、Fréchet Forcingを提案する。これは、そのデプロイされたマルチステップサンプリングとともに、世界モデルを微調整する。
MiniWorld-1Bは253コマのクリップで事前訓練され、少なくとも381コマのクリップで36回のGPU時間で4000コマを超える安定したロールアウトが得られる。
- 参考スコア(独自算出の注目度): 13.334555097211634
- License:
- Abstract: Streaming video world models generate the future chunk by chunk, conditioned on their own past and a stream of actions. Trained on short clips, they drift once a rollout exceeds the training horizon, as prediction errors re-enter the context and compound. A common remedy is to train the model on its own rollouts via distribution matching distillation (DMD). For action-conditioned world models, the teacher becomes a bottleneck: an external video model is agnostic to the actions, whereas the model's own pretrained network drifts in the same manner as the student. We observe that a long rollout need not match a teacher, provided it remains a realistic continuation of its own scene that follows the commanded actions. Realism and scene fidelity can be measured against real-data statistics, which remain valid at any horizon, while action following is preserved by the model's conditional generation loss. We propose Fréchet Forcing, which fine-tunes a world model together with its deployed multi-step sampler under three constraints. Generative anchoring applies the flow-matching loss after a self-generated history ending on real data. Context fidelity, a Fréchet distance (FD) on latent statistics of the free rollout centred on each clip's own ground truth, keeps every rollout faithful to its scene. Reality matching, an FD to real frames in a frozen perceptual space, keeps the generated frames realistic. Because all three targets are derived from short real clips without comparing a rollout against a long recorded future, training requires no teacher, no online critic and no long videos. Fine-tuning MiniWorld-1B, pretrained on 253-frame clips, for at most 36 GPU-hours on 381-frame clips yields rollouts that remain stable beyond 4,000 frames and continue to follow their actions in both robot manipulation and camera-controlled exploration.
- Abstract(参考訳): ストリーミングビデオワールドモデルは、過去とアクションのストリームに基づいて、チャンク単位で未来のチャンクを生成する。
短いクリップで訓練され、予測エラーがコンテキストと複合状態に戻ると、ロールアウトがトレーニングの地平線を超えるとドリフトする。
一般的な治療法は、分散マッチング蒸留(DMD)を通じてモデルを独自のロールアウトでトレーニングすることである。
アクション条件付き世界モデルでは、教師はボトルネックとなる: 外部ビデオモデルはアクションに依存しないが、モデル自身の事前訓練されたネットワークは学生と同じ方法でドリフトする。
命令された行動に従う現実的な場面の継続を保ちながら、長いロールアウトを教師と一致させる必要はないことを観察する。
現実性やシーンの忠実さは、任意の地平線上で有効である実データ統計に対して測定できるが、後続のアクションはモデルの条件付き生成損失によって保存される。
本稿では,Fréchet Forcingを提案する。Fréchet Forcingは,世界モデルを3つの制約の下で展開するマルチステップサンプリング器とともに微調整する。
生成アンカーは、実際のデータで終わる自己生成履歴の後にフローマッチング損失を適用します。
コンテクストの忠実さ(Fréchet distance、FD)は、各クリップの真実に基づいたフリーロールアウトの潜在統計に基づいており、すべてのロールアウトがシーンに忠実に保たれている。
現実的なマッチングは、凍った知覚空間の実際のフレームに対するFDであり、生成されたフレームをリアルに保つ。
3つのターゲットはいずれも、長期記録された未来とロールアウトを比べることなく、短い実際のクリップから派生しているため、トレーニングは教師もオンライン評論家も長いビデオも必要としない。
細調整されたMiniWorld-1Bは253コマのクリップで事前訓練され、最低36回のGPU時間で381コマのクリップでロールアウトされる。
関連論文リスト
- Clean Forcing: Drift-Resistant Autoregressive Video Diffusion with a Frozen Base [37.35568561545772]
自己回帰(AR)ビデオ拡散モデルでは、任意の長さのストリーミングビデオを生成する。
彼らは露光バイアスに悩まされ、クリーンなコンテキストでトレーニングされたモデルは、自身の不完全な出力から継続され、エラーは、数秒以内に品質が崩壊するまで複雑になる(ドリフト)。
論文 参考訳(メタデータ) (2026-10-19T01:25:31Z) - RoXDrive: Closed-Loop Reinforcement Learning for End-to-End Autonomous Driving via Action-Faithful Rollouts [98.41251854883184]
強化学習(RL)ポストトレーニングは、現在のアプローチに代わる有望な代替手段を提供する。
ビデオワールドモデルは、現実的な多段階の将来のロールアウトを生成する能力を示したが、アクション条件を忠実に反映しないかもしれない。
本稿では,信頼性の高いポリシ最適化を実現するプラグイン・アンド・プレイクローズドループRLフレームワークであるRoXDriveを紹介する。
論文 参考訳(メタデータ) (2026-09-29T06:59:50Z) - End-to-End Training for Autoregressive Video Diffusion via Self-Resampling [63.84672807009907]
自己回帰ビデオ拡散モデルは、世界シミュレーションの可能性を保っているが、列車テストミスマッチに起因する露出バイアスに弱い。
教師なしのフレームワークであるResampling Forcingを導入し、スクラッチから大規模まで自動回帰ビデオモデルのトレーニングを可能にする。
論文 参考訳(メタデータ) (2025-12-17T18:53:29Z) - BAgger: Backwards Aggregation for Mitigating Drift in Autoregressive Video Diffusion Models [50.986189632485285]
モデル自身のロールアウトから補正軌道を構築する自己教師型スキームであるバックワードアグリゲーション(BAgger)を導入する。
数段階の蒸留と分配整合損失に依存する従来のアプローチとは異なり、BAggerは標準的なスコアやフローマッチングの目的を持つ列車である。
因果拡散変換器でBAggerをインスタンス化し、テキスト・ツー・ビデオ、ビデオ・エクステンション、マルチプロンプト・ジェネレーションで評価する。
論文 参考訳(メタデータ) (2025-12-12T23:02:02Z) - Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion [67.94300151774085]
本稿では,自己回帰ビデオ拡散モデルのための新しい訓練パラダイムであるSelf Forcingを紹介する。
露光バイアスの長年の問題に対処し、地道的な文脈で訓練されたモデルは、自身の不完全な出力で条件付けられたシーケンスを生成する必要がある。
論文 参考訳(メタデータ) (2025-06-09T17:59:55Z) - LongDWM: Cross-Granularity Distillation for Building a Long-Term Driving World Model [22.92353994818742]
ドライビングワールドモデルは、現在の状態と行動の状態に基づいて、ビデオ生成によって未来をシミュレートするために使用される。
最近の研究は、ディフュージョントランスフォーマー(DiT)を駆動世界モデルのバックボーンとして利用し、学習の柔軟性を向上させる。
我々は、シンプルで効果的な長期運転世界モデルを構築するためのソリューションをいくつか提案する。
論文 参考訳(メタデータ) (2025-06-02T11:19:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。