論文の概要: RefDecoder: Enhancing Visual Generation with Conditional Video Decoding
- arxiv url: http://arxiv.org/abs/2605.15196v1
- Date: Thu, 14 May 2026 17:59:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-15 21:45:35.020819
- Title: RefDecoder: Enhancing Visual Generation with Conditional Video Decoding
- Title（参考訳）: RefDecoder: 条件付きビデオデコーディングによるビジュアルジェネレーションの強化
- Abstract要約: RefDecoderは、参照アテンションを介してデコードプロセスに直接高忠実度参照画像信号を注入する参照条件付きVAEデコーダである。
我々は、Inter4K、WebVid、Large Motion再構成ベンチマークの無条件ベースラインに対して、+2.1dB PSNRを達成し、いくつかのデコーダバックボーン間で一貫した改善を実証する。
RefDecoderは、追加の微調整なしで既存のビデオ生成システムと直接交換することができる。
- 参考スコア（独自算出の注目度）: 34.53947900093251
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Video generation powers a vast array of downstream applications. However, while the de facto standard, i.e., latent diffusion models, typically employ heavily conditioned denoising networks, their decoders often remain unconditional. We observe that this architectural asymmetry leads to significant loss of detail and inconsistency relative to the input image. To address this, we argue that the decoder requires equal conditioning to preserve structural integrity. We introduce RefDecoder, a reference-conditioned video VAE decoder by injecting high-fidelity reference image signal directly into the decoding process via reference attention. Specifically, a lightweight image encoder maps the reference frame into the detail-rich high-dimensional tokens, which are co-processed with the denoised video latent tokens at each decoder up-sampling stage. We demonstrate consistent improvements across several distinct decoder backbones (e.g., Wan 2.1 and VideoVAE+), achieving up to +2.1dB PSNR over the unconditional baselines on the Inter4K, WebVid, and Large Motion reconstruction benchmarks. Notably, RefDecoder can be directly swapped into existing video generation systems without additional fine-tuning, and we report across-the-board improvements in subject consistency, background consistency, and overall quality scores on the VBench I2V benchmark. Beyond I2V, RefDecoder generalizes well to a wide range of visual generation tasks such as style transfer and video editing refinement.
- Abstract（参考訳）: ビデオ生成は、大量のダウンストリームアプリケーションを動かす。
しかし、デファクト標準、すなわち遅延拡散モデル(英語版)は一般に重条件のデノナイジングネットワークを使用するが、デコーダはしばしば無条件のままである。
この構造的非対称性は,入力画像に対して細部や不整合を著しく損なうことを観察する。
この問題に対処するためには、デコーダは構造的整合性を維持するために等条件付けが必要であると論じる。
本稿では,参照注意によるデコードプロセスに直接高忠実度参照画像信号を注入することにより,参照条件付きビデオVAEデコーダRefDecoderを紹介する。
具体的には、軽量画像エンコーダは、参照フレームをディテールリッチな高次元トークンにマッピングし、各デコーダアップサンプリングステージにおける復号化ビデオ潜在トークンと共処理する。
我々は、Inter4K、WebVid、Large Motion再構成ベンチマークの無条件ベースラインに対して、複数の異なるデコーダバックボーン(例: Wan 2.1 と VideoVAE+)で一貫した改善を示し、+2.1dB PSNRを実現した。
特筆すべきは、RefDecoderを既存のビデオ生成システムに直接切り替えることができ、VBench I2Vベンチマークにおいて、対象の一貫性、背景の整合性、全体的な品質スコアが改善したことを報告している。
I2V以外にも、RefDecoderはスタイル転送やビデオ編集の改良など、幅広い視覚生成タスクを一般化している。
関連論文リスト
- DVSM: Decoder-only View Synthesis Model Done Right [53.493403264581424]
近年のLVSM(Large View Synthesis Models)は、再構成とレンダリングを別々のネットワークに分離するエンコーダデコーダアーキテクチャを提唱している。
KV-cacheとして暗黙的にシーンを表すデコーダのみのアーキテクチャは、エンコーダ-デコーダの変種よりも優れており、レンダリングの複雑さは少ない。
以上の結果から,複数のベンチマークによる新規視点合成技術が確立され,高密度な入力ビュー下でのシーンごとの最適化3DGSよりも優れた結果が得られた。
論文 参考訳（メタデータ） (2026-05-28T13:16:09Z) - From Vicious to Virtuous Cycles: Synergistic Representation Learning for Unsupervised Video Object-Centric Learning [45.1920794546889]
我々は、エンコーダとデコーダが相互に相互に洗練されるような活発なサイクルを導入する。
エンコーダとデコーダの間の表現的ギャップを埋めることで、SRLはビデオオブジェクト中心の学習ベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2026-02-03T11:11:58Z) - OpenVision 3: A Family of Unified Visual Encoder for Both Understanding and Generation [101.82480298904225]
本稿では,単一で統一された視覚表現を学習する,OpenVision 3という高度な視覚エンコーダ群について述べる。
VAE圧縮されたイメージラテントをViTエンコーダに供給し、2つの補完的な役割をサポートするために出力をトレーニングします。
マルチモーダル理解のために、エンコーダをLLaVA-1.5フレームワークにプラグインします。
論文 参考訳（メタデータ） (2026-01-21T18:47:12Z) - VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction [83.50898344094153]
VQRAEは、イメージ理解のための連続的セマンティック機能と、統一トークン化器内での視覚生成のためのトークンを生成する。
デザインは、多モーダル理解、離散トークンの能力を維持するために、無視可能な意味情報を可能にする。
VQRAEは、視覚的理解、生成、再構築のベンチマークで競合性能を示す。
論文 参考訳（メタデータ） (2025-11-28T17:26:34Z) - REGEN: Learning Compact Video Embedding with (Re-)Generative Decoder [52.698595889988766]
生成モデルのためのビデオ埋め込み学習について,新しい視点を提示する。
入力ビデオの正確な再生を必要とせず、効果的な埋め込みは視覚的に妥当な再構築に焦点を当てるべきである。
本稿では,従来のエンコーダ・デコーダ・ビデオ埋め込みをエンコーダ・ジェネレータ・フレームワークに置き換えることを提案する。
論文 参考訳（メタデータ） (2025-03-11T17:51:07Z) - Epsilon-VAE: Denoising as Visual Decoding [61.29255979767292]
復号化は1段階の再構成から反復的改良へと移行する。
具体的には、デコーダを拡散処理に置き換え、ノイズを反復的に改善して元の画像を復元する。
拡散による反復的再構成により, 自己エンコーダであるEpsilon-VAEは高い再構成品質を実現する。
論文 参考訳（メタデータ） (2024-10-05T08:27:53Z) - High-Efficiency Neural Video Compression via Hierarchical Predictive Learning [27.41398149573729]
強化されたDeep Hierarchical Video Compression(DHVC 2.0)は、優れた圧縮性能と目覚ましい複雑さの効率を導入する。
階層的な予測符号化を使用して、各ビデオフレームをマルチスケール表現に変換する。
トランスミッションフレンドリーなプログレッシブデコーディングをサポートしており、パケットロスの存在下では特にネットワーク化されたビデオアプリケーションに有利である。
論文 参考訳（メタデータ） (2024-10-03T15:40:58Z) - When Video Coding Meets Multimodal Large Language Models: A Unified Paradigm for Video Coding [118.72266141321647]
CMVC(Cross-Modality Video Coding)は、ビデオ符号化における多モード表現とビデオ生成モデルを探索する先駆的な手法である。
復号化の際には、以前に符号化されたコンポーネントとビデオ生成モデルを利用して複数の復号モードを生成する。
TT2Vは効果的な意味再構成を実現し,IT2Vは競争力のある知覚整合性を示した。
論文 参考訳（メタデータ） (2024-08-15T11:36:18Z) - GAN-Based Multi-View Video Coding with Spatio-Temporal EPI
Reconstruction [19.919826392704472]
GAN(Generative Adrial Network)の画像生成機能を活用した新しい多視点ビデオ符号化手法を提案する。
エンコーダでは,時空間平面画像(EPI)デコーダを構築し,さらに畳み込みネットワークを用いてGANの潜時符号をサイド情報(SI)として抽出する。
側面では、SIと隣接する視点を組み合わせて、GANジェネレータを用いて中間ビューを再構築する。
論文 参考訳（メタデータ） (2022-05-07T08:52:54Z) - Deep Video Coding with Dual-Path Generative Adversarial Network [39.19042551896408]
本稿では,DGVC(Double-path Generative Adversarial Network-based Video)という,効率的なコーデックを提案する。
我々のDGVCは、PSNR/MS-SSIMで平均ビット/ピクセル(bpp)を39.39%/54.92%削減する。
論文 参考訳（メタデータ） (2021-11-29T11:39:28Z) - Super-Resolving Compressed Video in Coding Chain [27.994055823226848]
レファレンスベースのDCNNと連携する混合解像度符号化フレームワークを提案する。
この新しい符号化チェーンにおいて、基準ベースDCNNは、低解像度(LR)圧縮ビデオからデコーダ側の高解像度(HR)クリーンバージョンへの直接マッピングを学習する。
論文 参考訳（メタデータ） (2021-03-26T03:39:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。