論文の概要: Through the PRISM: Preference Representation in Intermediate States of Video Diffusion Models
- arxiv url: http://arxiv.org/abs/2606.20310v1
- Date: Thu, 18 Jun 2026 14:44:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-19 18:23:39.924088
- Title: Through the PRISM: Preference Representation in Intermediate States of Video Diffusion Models
- Title(参考訳): PRISMを通して:ビデオ拡散モデルの中間状態における参照表現
- Authors: Haoxuan Wu, Lai Man Po, Mengyang Liu, Kun Li, Hongzheng Yang, Wei Liu,
- Abstract要約: textbfPRISM (textbfPreference textbfRepresentation in textbfIntermediate textbfStates of Diffusion textbfModels)
textbfPRISM (textbfPreference textbfRepresentation in textbfIntermediate textbfStates of Diffusion textbfModels)
textbfPRISM
- 参考スコア(独自算出の注目度): 19.850780005035755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluating video generation with clean, pixel-based reward models disconnects evaluation from the noisy diffusion process and incurs massive VAE decoding costs. In this paper, we challenge this paradigm by asking a fundamental question: Can a powerful video generator inherently discriminate preferences directly from noisy latents? To answer this, we introduce \textbf{PRISM} (\textbf{P}reference \textbf{R}epresentation in \textbf{I}ntermediate \textbf{S}tates of Diffusion \textbf{M}odels). PRISM employs a lightweight Query-based Aggregation head with a frozen video diffusion backbone to decode preference signals from noisy latents. Surprisingly, PRISM not only achieves SOTA preference accuracy but also unlocks strong noise-robustness, which enables early-stage Best-of-$N$ sampling. This allows for filtering suboptimal candidates at the very beginning of denoising, drastically reducing computation while boosting video quality. We also reveal a strong positive correlation between a backbone's generative performance and its inherent evaluative power, enabling self-improving video backbones.
- Abstract(参考訳): クリーンで画素ベースの報酬モデルによる映像生成の評価は、ノイズ拡散過程から評価を切り離し、大量のVAEデコードコストを発生させる。
強力なビデオ生成装置は本質的にノイズの多い潜伏者から直接好みを識別できるのか?
これに対応するために、Diffusion \textbf{P}odels の \textbf{P}reference \textbf{R}epresentation in \textbf{I}ntermediate \textbf{S}tates of Diffusion \textbf{M}odels を紹介する。
PRISMは、凍結したビデオ拡散バックボーンを備えた軽量なクエリベースのアグリゲーションヘッドを使用して、ノイズの多い潜伏者から好みの信号を復号する。
驚いたことに、PRISMはSOTAの選好精度を達成できるだけでなく、強いノイズ・ロバスト性も解放し、早期のベスト・オブ・N$サンプリングを可能にしている。
これにより、デノイズ化の初期段階において、最適なサブ候補をフィルタリングすることができ、ビデオ品質を向上しながら、計算を大幅に削減できる。
また,背骨の再生性能と本質的な評価力との間には強い正の相関関係がみられ,自己改善型ビデオバックボーンが可能となった。
関連論文リスト
- Imagine Before Concentration: Diffusion-Guided Registers Enhance Partially Relevant Video Retrieval [74.31577742865488]
部分関連ビデオ検索(PRVR)は、部分イベントのみを記述するテキストクエリに基づいて、未トリミングされたビデオを取得することを目的としている。
本稿では,粗大な表現学習パラダイムを取り入れたDreamPRVRを提案する。
論文 参考訳(メタデータ) (2026-04-04T09:05:14Z) - Adaptive Begin-of-Video Tokens for Autoregressive Video Diffusion Models [11.913945404405865]
ほとんどのビデオ拡散モデル(VDM)は自己回帰的な方法でビデオを生成し、それに続く繰り返しフレームを生成する。
本稿では,自動回帰VDMのためのAdaptive Begin-of-Video Tokens(ada-BOV)を提案する。
論文 参考訳(メタデータ) (2025-11-15T08:29:14Z) - Rethinking Video Tokenization: A Conditioned Diffusion-based Approach [58.164354605550194]
新しいトークン化ツールであるDiffusion Conditioned-based Gene Tokenizerは、GANベースのデコーダを条件付き拡散モデルで置き換える。
再建に基本的MSE拡散損失とKL項,LPIPSを併用した訓練を行った。
CDTのスケールダウン版(3$times inference speedup)でさえ、トップベースラインと互換性がある。
論文 参考訳(メタデータ) (2025-03-05T17:59:19Z) - Video Summarization using Denoising Diffusion Probabilistic Model [21.4190413531697]
本稿では,確率分布の観点から要約を生成する方法を学ぶ,映像要約のための生成フレームワークを提案する。
具体的には、雑音予測によりトレーニングデータの確率分布を学習するDDPM(Denoising Diffusion Probabilistic Model)に基づく新しい拡散要約法を提案する。
提案手法は主観的アノテーションノイズに耐性があり,識別法よりも訓練データを過度に適合させる傾向が低く,高い一般化能力を有する。
論文 参考訳(メタデータ) (2024-12-11T13:02:09Z) - VideoFusion: Decomposed Diffusion Models for High-Quality Video
Generation [88.49030739715701]
本研究は, フレームごとのノイズを, 全フレーム間で共有されるベースノイズ, 時間軸に沿って変化する残雑音に分解することで, 拡散過程を分解する。
様々なデータセットの実験により,ビデオフュージョンと呼ばれる我々の手法が,高品質なビデオ生成において,GANベースと拡散ベースの両方の選択肢を上回ることが確認された。
論文 参考訳(メタデータ) (2023-03-15T02:16:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。