論文の概要: Zero-Shot Video Restoration and Enhancement with Assistance of Video Diffusion Models
- arxiv url: http://arxiv.org/abs/2601.21922v1
- Date: Thu, 29 Jan 2026 16:14:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:49.977457
- Title: Zero-Shot Video Restoration and Enhancement with Assistance of Video Diffusion Models
- Title(参考訳): ビデオ拡散モデルによるゼロショット映像復元と強化
- Authors: Cong Cao, Huanjing Yue, Shangbin Xie, Xin Liu, Jingyu Yang,
- Abstract要約: 本稿では,高速な映像拡散モデルを用いて,時間的整合性を維持するための画像ベース手法を提案する。
画像法を補完するヘテロジェネリックテキスト・ビデオ拡散モデルとヘテロジェネリックテキスト・ビデオ拡散モデルの両方を利用するため, 潜伏子融合, 異種潜伏子融合, およびCOTベースの融合比戦略を提案する。
本手法はトレーニング不要であり,任意の拡散型画像復元・拡張法に適用可能である。
- 参考スコア(独自算出の注目度): 23.205162529582747
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although diffusion-based zero-shot image restoration and enhancement methods have achieved great success, applying them to video restoration or enhancement will lead to severe temporal flickering. In this paper, we propose the first framework that utilizes the rapidly-developed video diffusion model to assist the image-based method in maintaining more temporal consistency for zero-shot video restoration and enhancement. We propose homologous latents fusion, heterogenous latents fusion, and a COT-based fusion ratio strategy to utilize both homologous and heterogenous text-to-video diffusion models to complement the image method. Moreover, we propose temporal-strengthening post-processing to utilize the image-to-video diffusion model to further improve temporal consistency. Our method is training-free and can be applied to any diffusion-based image restoration and enhancement methods. Experimental results demonstrate the superiority of the proposed method.
- Abstract(参考訳): 拡散型ゼロショット画像復元法と強調法は大きな成果を上げているが,ビデオ再生や強調に応用することで,時間的ひび割れが深刻になる。
本稿では、高速な映像拡散モデルを用いて、ゼロショット映像の復元・拡張のための時間的一貫性を維持するために、画像ベース手法を支援する第1のフレームワークを提案する。
我々は,同種および異種テキスト・ビデオの拡散モデルを用いて画像の合成を行うため,同種ラテント融合,異種ラテント融合,COTベースの融合比戦略を提案する。
さらに,画像間拡散モデルを用いて時間的整合性を改善するための時間的強化後処理を提案する。
本手法はトレーニング不要であり,任意の拡散型画像復元・拡張法に適用可能である。
実験により提案手法の優位性を実証した。
関連論文リスト
- Solving Video Inverse Problems Using Image Diffusion Models [58.464465016269614]
本稿では,画像拡散モデルのみを活用する革新的なビデオ逆解法を提案する。
本手法は,映像の時間次元をバッチ次元画像拡散モデルとして扱う。
また、バッチ間の一貫性を促進するバッチ一貫性サンプリング戦略も導入しています。
論文 参考訳(メタデータ) (2024-09-04T09:48:27Z) - Zero-Shot Video Restoration and Enhancement Using Pre-Trained Image Diffusion Model [15.170889156729777]
本稿では,事前学習した画像拡散モデルに基づいて,ゼロショット映像の復元と拡張を行うための第1のフレームワークを提案する。
本手法は,任意の拡散型画像復元・拡張手法に挿入可能なプラグアンドプレイモジュールである。
論文 参考訳(メタデータ) (2024-07-02T05:31:59Z) - DiffIR2VR-Zero: Zero-Shot Video Restoration with Diffusion-based Image Restoration Models [9.145545884814327]
DiffIR2VR-Zeroは、任意の事前訓練された画像復元モデルで、追加のトレーニングなしで高品質な映像復元を行うことができるゼロショットフレームワークである。
我々のフレームワークは、任意の画像復元拡散モデルで動作し、タスク固有のトレーニングや修正なしに、映像強調のための汎用的なソリューションを提供する。
論文 参考訳(メタデータ) (2024-07-01T17:59:12Z) - ReNoise: Real Image Inversion Through Iterative Noising [62.96073631599749]
本研究では,操作数を増やすことなく,高い品質と操作率の逆転法を導入し,再現精度を向上する。
我々は,近年の高速化拡散モデルを含む様々なサンプリングアルゴリズムとモデルを用いて,Renoise手法の性能を評価する。
論文 参考訳(メタデータ) (2024-03-21T17:52:08Z) - FRESCO: Spatial-Temporal Correspondence for Zero-Shot Video Translation [85.29772293776395]
フレーム間対応とフレーム間対応のFRESCOを導入し,より堅牢な時空間制約を確立する。
この拡張により、フレーム間で意味的に類似したコンテンツのより一貫性のある変換が可能になる。
提案手法では,入力ビデオと高空間時間整合性を実現するために,特徴の明示的な更新を行う。
論文 参考訳(メタデータ) (2024-03-19T17:59:18Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳(メタデータ) (2023-06-01T03:08:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。