論文の概要: Off-Manifold Refinement: Guiding Video Generators with a Frozen World Model

• arxiv url: http://arxiv.org/abs/2608.29904v1
• Date: Sun, 30 Aug 2026 17:00:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.10372
• Title: Off-Manifold Refinement: Guiding Video Generators with a Frozen World Model
• Title（参考訳）: 冷蔵世界モデルによるビデオジェネレータの誘導
• Abstract要約: Off-Manifold Refinement (OMR)は、単一のサンプリング軌道に直接ワールドモデルフィードバックを注入する推論時間法である。 固定された400-prompt VideoPhy-2の詳細部分集合では、OMRはSemantic-Adherence-and-Physical-Commonsenseを47.0%から52.0%に引き上げる。
• 参考スコア（独自算出の注目度）: 2.4870727053423236
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Modern video generators routinely fail at physical dynamics: objects float, trajectories violate gravity, contacts vanish. Standard denoising and flow-matching objectives fit visual data distributions but do not explicitly penalize such physical violations. Existing remedies can improve physical consistency, but typically add substantial inference or training cost. Candidate-selection methods generate and score multiple videos, while gradient-based world-model guidance repeatedly decodes and re-encodes intermediate estimates. Generator-internal refinement adds perturbation and re-denoising loops, whereas post-training requires curated data and additional optimization. We propose Off-Manifold Refinement (OMR), an inference-time method that instead injects world-model feedback directly into a single sampling trajectory. During scheduled middle ODE steps, we augment the generator velocity with the gradient of an adapter-space V-JEPA 2.1 surprise energy. This external correction can move the latent away from the uncorrected sampling trajectory and toward regions ranked as more physically plausible by the frozen predictor, after which the generator continues rendering from the corrected state. A small trained latent-to-embedding adapter keeps the gradient tractable at inference, and both the video generator and the world model remain frozen. On our fixed 400-prompt VideoPhy-2 detailed subset, OMR lifts the joint Semantic-Adherence-and-Physical-Commonsense metric from 47.0% to 52.0% (+5.0pp absolute, +10.6% relative) over the base Wan2.2-T2V-A14B sampler. On a separate fixed 50-prompt efficiency subset, it requires $1.71 \times$ the base runtime rather than the multiplicative cost of reward/search alternatives. Project page: https://itruonghai.github.io/omr.
• Abstract（参考訳）: 現代のビデオジェネレータは、物体の浮き上がり、軌道が重力に反し、接触が消えるなど、物理力学において日常的に失敗する。 標準的な denoising と flow-matching の目的は、視覚データ分布に適合するが、そのような物理的違反を明示的に罰するものではない。 既存の治療法は物理的整合性を改善することができるが、典型的にはかなりの推論やトレーニングコストがかかる。 候補選択法は複数のビデオを生成・スコアし、グラデーションベースのワールドモデルガイダンスは繰り返しデコードし、中間推定値を再符号化する。 ジェネレータ内部の洗練は摂動と再帰ループを付加する一方、後トレーニングではキュレートされたデータと追加の最適化を必要とする。 OMR(Off-Manifold Refinement)は,1つのサンプリング軌道に直接ワールドモデルフィードバックを注入する推論時間法である。 計画中ODEのステップでは、アダプタ空間のV-JEPA 2.1サプライズエネルギーの勾配でジェネレータの速度を増大させる。 この外部補正は、潜伏剤を未修正サンプリング軌道から移動させ、冷凍予測器によってより物理的に証明可能な位置まで移動させることができ、その後、発電機は補正状態からのレンダリングを継続する。 小さい訓練された潜伏型アダプターは、推論時に勾配を引くことができ、ビデオジェネレータとワールドモデルの両方が凍結状態のままである。 固定された 400-prompt VideoPhy-2 の詳細なサブセットでは、OMR は Wan2.2-T2V-A14B サンプル装置上でSemantic-Adherence-and-Physical-Commonsense を47.0% から 52.0% (+5.0pp absolute, +10.6% relative) に引き上げる。 固定された50プロンプトの効率サブセットでは、報酬/検索の乗算コストではなく、ベースランタイムの$1.71 \timesが要求される。 プロジェクトページ: https://itruonghai.github.io/omr.com

関連論文リスト

• On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
  強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
  論文  参考訳（メタデータ） (2026-08-25T14:55:24Z)
• Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
  我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。 報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。 textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
  論文  参考訳（メタデータ） (2026-08-06T14:55:42Z)
• Beyond Token-Level Cross-Entropy: Fréchet Distributional Post-Training for Autoregressive Image Generation [20.360043829037306]
  FD-lossポストトレーニングは、表現空間フレシェ距離を唯一の目的とする事前訓練された離散ジェネレータに適応する。 クラス条件のImageNet上の4つのジェネレータファミリーから、256times256$で完了した8つの構成で、FD-lossポストトレーニングはFIDと$mathrmFD_r6$を平均41.4%、そして52.0%削減する。
  論文  参考訳（メタデータ） (2026-08-01T10:00:42Z)
• DiffusionGemma Technical Report [72.10570774996219]
  DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。 私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
  論文  参考訳（メタデータ） (2026-07-31T16:11:46Z)
• Physics-Grounded Fluid Video Generation with a Simulation Dataset and Dual-Stream Optical-Flow Supervision [78.04385989413382]
  ビデオ拡散モデルは視覚的に魅力的な内容を生成するが、流体にまつわる基礎物理学に規則的に違反する。 我々は1,638MPMを模擬した注水/スロッシングビデオと2,320のキーワードフィルターによる実注水ビデオを組み合わせた物理シミュレーション流体データセットを構築した。 予め訓練された拡散フィルタビデオジェネレータ上に構築されたデュアルストリーム映像合成アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-07-28T06:13:18Z)
• Three-Body Scattering for Generative Modeling [17.851305398372794]
  本研究では, 適切な分布エネルギーがサンプルレベルの運動を誘導し, 一段階発生器の直接回帰管理を可能にすることを示す。 生成のための3次元散乱モデリングは、エネルギー距離を一定サイズ毎の弾道的相互作用に変換する。 拡散関連監視,ドリフトライクなダイナミクス,およびGANライクな目的に関するデザインマップを提供する。
  論文  参考訳（メタデータ） (2026-07-20T17:38:12Z)
• Test-Time Noise Guided Adaptation for Realistic Autoregressive Video Generation [39.009217034010796]
  ノイズガイド最適化(TANGO)による端末点回避について紹介する。 我々の手法は、VBenchの最先端技術に対する絶対的な改善を3.1%で達成し、Fréchet Video Distanceを平均で15ドルのビデオで28.3%削減する。
  論文  参考訳（メタデータ） (2026-07-17T11:07:07Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• PhaseFlow4D: Physically Constrained 4D Beam Reconstruction via Feedback-Guided Latent Diffusion [78.29352305480285]
  フェーズFlow4Dは、不完全な2D観測だけで完全な4D位相空間を再構築し、追跡する。 希土類同位体ビーム施設における重イオンビームの多粒子シミュレーションについて検証した。
  論文  参考訳（メタデータ） (2026-04-04T22:37:01Z)
• Stable Target Field for Reduced Variance Score Estimation in Diffusion Models [5.9115407007859755]
  拡散モデルは、固定された前方拡散過程を反転させてサンプルを生成する。 このような分散の源泉は、中間雑音分散スケールの取り扱いにあると論じる。 より安定したトレーニングターゲットとして重み付けされた条件スコアを計算するために使用する参照バッチを組み込むことにより、この問題を修復することを提案する。
  論文  参考訳（メタデータ） (2023-02-01T18:57:01Z)
• Stable Anderson Acceleration for Deep Learning [0.0]
  AndersonAcceleration (AA) は、DLモデルの反復訓練から生じるような固定点反復を高速化するように設計されている。 AAと適応的な移動平均手順を組み合わせることで、振動を円滑にし、より定期的な降下更新を行う。
  論文  参考訳（メタデータ） (2021-10-26T14:52:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。