論文の概要: Zero-Shot Video Restoration and Enhancement with Assistance of Video Diffusion Models
- arxiv url: http://arxiv.org/abs/2601.21922v1
- Date: Thu, 29 Jan 2026 16:14:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:49.977457
- Title: Zero-Shot Video Restoration and Enhancement with Assistance of Video Diffusion Models
- Title（参考訳）: ビデオ拡散モデルによるゼロショット映像復元と強化
- Authors: Cong Cao, Huanjing Yue, Shangbin Xie, Xin Liu, Jingyu Yang,
- Abstract要約: 本稿では,高速な映像拡散モデルを用いて,時間的整合性を維持するための画像ベース手法を提案する。
画像法を補完するヘテロジェネリックテキスト・ビデオ拡散モデルとヘテロジェネリックテキスト・ビデオ拡散モデルの両方を利用するため, 潜伏子融合, 異種潜伏子融合, およびCOTベースの融合比戦略を提案する。
本手法はトレーニング不要であり,任意の拡散型画像復元・拡張法に適用可能である。
- 参考スコア（独自算出の注目度）: 23.205162529582747
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although diffusion-based zero-shot image restoration and enhancement methods have achieved great success, applying them to video restoration or enhancement will lead to severe temporal flickering. In this paper, we propose the first framework that utilizes the rapidly-developed video diffusion model to assist the image-based method in maintaining more temporal consistency for zero-shot video restoration and enhancement. We propose homologous latents fusion, heterogenous latents fusion, and a COT-based fusion ratio strategy to utilize both homologous and heterogenous text-to-video diffusion models to complement the image method. Moreover, we propose temporal-strengthening post-processing to utilize the image-to-video diffusion model to further improve temporal consistency. Our method is training-free and can be applied to any diffusion-based image restoration and enhancement methods. Experimental results demonstrate the superiority of the proposed method.
- Abstract（参考訳）: 拡散型ゼロショット画像復元法と強調法は大きな成果を上げているが,ビデオ再生や強調に応用することで,時間的ひび割れが深刻になる。
本稿では、高速な映像拡散モデルを用いて、ゼロショット映像の復元・拡張のための時間的一貫性を維持するために、画像ベース手法を支援する第1のフレームワークを提案する。
我々は,同種および異種テキスト・ビデオの拡散モデルを用いて画像の合成を行うため,同種ラテント融合,異種ラテント融合,COTベースの融合比戦略を提案する。
さらに,画像間拡散モデルを用いて時間的整合性を改善するための時間的強化後処理を提案する。
本手法はトレーニング不要であり,任意の拡散型画像復元・拡張法に適用可能である。
実験により提案手法の優位性を実証した。
関連論文リスト
- Improving Temporal Consistency and Fidelity at Inference-time in Perceptual Video Restoration by Zero-shot Image-based Diffusion Models [5.61537470581101]
ゼロショット画像ベース拡散モデルを用いたビデオ再生における時間的コヒーレンス向上の課題に対処する。
本稿では,PSG(Perceptual Straightening Guidance)とMPES(Ensemble Sampling)の2つの補完的推論時間戦略を提案する。
論文 参考訳（メタデータ） (2025-10-29T11:40:06Z) - LVTINO: LAtent Video consisTency INverse sOlver for High Definition Video Restoration [3.2944592608677614]
本稿では,VCMで符号化された先行画像を用いた高精細ビデオ再生のための,最初のゼロショット・プラグ・アンド・プレイ逆解器であるLVTINOを提案する。
我々の条件付け機構は、自動微分の必要性を回避し、少数のニューラルファンクション評価で最先端のビデオ再構成品質を達成する。
論文 参考訳（メタデータ） (2025-10-01T18:10:08Z) - Solving Video Inverse Problems Using Image Diffusion Models [58.464465016269614]
本稿では,画像拡散モデルのみを活用する革新的なビデオ逆解法を提案する。
本手法は,映像の時間次元をバッチ次元画像拡散モデルとして扱う。
また、バッチ間の一貫性を促進するバッチ一貫性サンプリング戦略も導入しています。
論文 参考訳（メタデータ） (2024-09-04T09:48:27Z) - Zero-Shot Video Restoration and Enhancement Using Pre-Trained Image Diffusion Model [15.170889156729777]
本稿では,事前学習した画像拡散モデルに基づいて,ゼロショット映像の復元と拡張を行うための第1のフレームワークを提案する。
本手法は,任意の拡散型画像復元・拡張手法に挿入可能なプラグアンドプレイモジュールである。
論文 参考訳（メタデータ） (2024-07-02T05:31:59Z) - DiffIR2VR-Zero: Zero-Shot Video Restoration with Diffusion-based Image Restoration Models [9.145545884814327]
DiffIR2VR-Zeroは、任意の事前訓練された画像復元モデルで、追加のトレーニングなしで高品質な映像復元を行うことができるゼロショットフレームワークである。
我々のフレームワークは、任意の画像復元拡散モデルで動作し、タスク固有のトレーニングや修正なしに、映像強調のための汎用的なソリューションを提供する。
論文 参考訳（メタデータ） (2024-07-01T17:59:12Z) - ReNoise: Real Image Inversion Through Iterative Noising [62.96073631599749]
本研究では,操作数を増やすことなく,高い品質と操作率の逆転法を導入し,再現精度を向上する。
我々は,近年の高速化拡散モデルを含む様々なサンプリングアルゴリズムとモデルを用いて,Renoise手法の性能を評価する。
論文 参考訳（メタデータ） (2024-03-21T17:52:08Z) - FRESCO: Spatial-Temporal Correspondence for Zero-Shot Video Translation [85.29772293776395]
フレーム間対応とフレーム間対応のFRESCOを導入し,より堅牢な時空間制約を確立する。
この拡張により、フレーム間で意味的に類似したコンテンツのより一貫性のある変換が可能になる。
提案手法では,入力ビデオと高空間時間整合性を実現するために,特徴の明示的な更新を行う。
論文 参考訳（メタデータ） (2024-03-19T17:59:18Z) - Make a Cheap Scaling: A Self-Cascade Diffusion Model for
Higher-Resolution Adaptation [112.08287900261898]
本稿では,高解像度画像への高速適応と映像生成のための新しい自己カスケード拡散モデルを提案する。
提案手法は5Xトレーニングの高速化を実現し,さらに0.002Mのチューニングパラメータしか必要としない。
実験により,提案手法は10kステップの微調整によって高速に高分解能画像やビデオ合成に適応できることを示した。
論文 参考訳（メタデータ） (2024-02-16T07:48:35Z) - Diffusion Models for Image Restoration and Enhancement: A Comprehensive Survey [73.86861112002593]
本稿では,近年の拡散モデルに基づく画像復元手法について概観する。
我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。
本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
論文 参考訳（メタデータ） (2023-08-18T08:40:38Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳（メタデータ） (2023-06-01T03:08:28Z) - ADIR: Adaptive Diffusion for Image Reconstruction [42.90778718695398]
拡散モデルのデノイングは画像生成において顕著な成功を収めており、自然画像統計に関する豊富な情報を収集している。
本稿では,拡散モデルで学習した強力な事前知識を活用しつつ,利用可能な測定値との整合性を実現する条件付きサンプリングフレームワークを提案する。
大規模かつ多様なデータセットから効率よく抽出される劣化した入力とセマンティックかつ視覚的に類似した画像を用いてLoRAに基づく適応を用いる。
論文 参考訳（メタデータ） (2022-12-06T18:39:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。