論文の概要: Zero-Shot Video Restoration and Enhancement with Text-to-Image Latent Diffusion Models and Multi-Modal References
- arxiv url: http://arxiv.org/abs/2608.26476v1
- Date: Thu, 27 Aug 2026 00:07:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.203883
- Title: Zero-Shot Video Restoration and Enhancement with Text-to-Image Latent Diffusion Models and Multi-Modal References
- Title（参考訳）: テキスト-画像遅延拡散モデルとマルチモード参照によるゼロショット映像復元と強調
- Abstract要約: ゼロショット映像の復元・拡張のための新しいフレームワークを提案する。
提案フレームワークはテキストから画像への遅延拡散モデルとマルチモーダル参照を用いる。
実験により,時間的に一貫したビデオの復元・向上における提案手法の優位性を示した。
- 参考スコア（独自算出の注目度）: 24.89556473440938
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Zero-shot image restoration methods with text-to-image latent diffusion models have achieved great success in universal image restoration tasks without training. However, applying them to video restoration will result in severe temporal flickering. In this paper, we propose a novel framework for zero-shot video restoration and enhancement which uses a text-to-image latent diffusion model and multi-modal references. Through the proposed dual prompt tuning inversion and sampling, the inference time can be reduced to nearly 1/3 of the original. The performance and temporal consistency can be also significantly stregthened. By using the proposed texture-aware video token merging, the temporal correlation between frames can be further utilized to improve the temporal consistency. We futher propose the referenced self-attention and referenced token merging to support image reference. Experimental results demonstrate the superiority of the proposed method in restoring and enhancing temporally consistent videos.
- Abstract（参考訳）: テキストから画像への遅延拡散モデルを用いたゼロショット画像復元法は、トレーニングなしでの普遍的な画像復元タスクにおいて大きな成功を収めている。
しかし、これらをビデオ修復に適用すると、重度の時間的ひねりが発生する。
本稿では,テキストから画像への遅延拡散モデルとマルチモーダル参照を用いたゼロショットビデオ復元・拡張のための新しいフレームワークを提案する。
提案したデュアル・プロンプト・チューニング・インバージョンとサンプリングにより、推定時間は元の1/3近くに短縮できる。
性能と時間的一貫性も著しく強化できる。
提案したテクスチャ対応ビデオトークンのマージにより、フレーム間の時間的相関をさらに活用し、時間的一貫性を向上させることができる。
我々は、画像参照をサポートするために、参照自己アテンションと参照トークンのマージを提案する。
実験により,時間的に一貫したビデオの復元・向上における提案手法の優位性を示した。
関連論文リスト
- Zero-Shot Video Restoration and Enhancement with Assistance of Video Diffusion Models [23.205162529582747]
本稿では,高速な映像拡散モデルを用いて,時間的整合性を維持するための画像ベース手法を提案する。
画像法を補完するヘテロジェネリックテキスト・ビデオ拡散モデルとヘテロジェネリックテキスト・ビデオ拡散モデルの両方を利用するため, 潜伏子融合, 異種潜伏子融合, およびCOTベースの融合比戦略を提案する。
本手法はトレーニング不要であり,任意の拡散型画像復元・拡張法に適用可能である。
論文 参考訳（メタデータ） (2026-01-29T16:14:07Z) - Improving Temporal Consistency and Fidelity at Inference-time in Perceptual Video Restoration by Zero-shot Image-based Diffusion Models [5.61537470581101]
ゼロショット画像ベース拡散モデルを用いたビデオ再生における時間的コヒーレンス向上の課題に対処する。
本稿では,PSG(Perceptual Straightening Guidance)とMPES(Ensemble Sampling)の2つの補完的推論時間戦略を提案する。
論文 参考訳（メタデータ） (2025-10-29T11:40:06Z) - LVTINO: LAtent Video consisTency INverse sOlver for High Definition Video Restoration [3.2944592608677614]
本稿では,VCMで符号化された先行画像を用いた高精細ビデオ再生のための,最初のゼロショット・プラグ・アンド・プレイ逆解器であるLVTINOを提案する。
我々の条件付け機構は、自動微分の必要性を回避し、少数のニューラルファンクション評価で最先端のビデオ再構成品質を達成する。
論文 参考訳（メタデータ） (2025-10-01T18:10:08Z) - Temporal-Consistent Video Restoration with Pre-trained Diffusion Models [51.47188802535954]
ビデオ復元(VR)は、劣化したビデオから高品質なビデオを復元することを目的としている。
事前訓練拡散モデル(DM)を用いた最近のゼロショットVR法は,逆拡散時の近似誤差と時間的整合性の欠如に悩まされている。
本稿では,DMのシード空間におけるビデオフレームを直接パラメータ化し,近似誤差を排除した新しいMAP(Posterior Maximum)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-19T03:41:56Z) - Rethinking Video Tokenization: A Conditioned Diffusion-based Approach [58.164354605550194]
新しいトークン化ツールであるDiffusion Conditioned-based Gene Tokenizerは、GANベースのデコーダを条件付き拡散モデルで置き換える。
再建に基本的MSE拡散損失とKL項,LPIPSを併用した訓練を行った。
CDTのスケールダウン版(3$times inference speedup)でさえ、トップベースラインと互換性がある。
論文 参考訳（メタデータ） (2025-03-05T17:59:19Z) - Solving Video Inverse Problems Using Image Diffusion Models [58.464465016269614]
本稿では,画像拡散モデルのみを活用する革新的なビデオ逆解法を提案する。
本手法は,映像の時間次元をバッチ次元画像拡散モデルとして扱う。
また、バッチ間の一貫性を促進するバッチ一貫性サンプリング戦略も導入しています。
論文 参考訳（メタデータ） (2024-09-04T09:48:27Z) - Zero-Shot Video Restoration and Enhancement Using Pre-Trained Image Diffusion Model [15.170889156729777]
本稿では,事前学習した画像拡散モデルに基づいて,ゼロショット映像の復元と拡張を行うための第1のフレームワークを提案する。
本手法は,任意の拡散型画像復元・拡張手法に挿入可能なプラグアンドプレイモジュールである。
論文 参考訳（メタデータ） (2024-07-02T05:31:59Z) - DiffIR2VR-Zero: Zero-Shot Video Restoration with Diffusion-based Image Restoration Models [9.145545884814327]
DiffIR2VR-Zeroは、任意の事前訓練された画像復元モデルで、追加のトレーニングなしで高品質な映像復元を行うことができるゼロショットフレームワークである。
我々のフレームワークは、任意の画像復元拡散モデルで動作し、タスク固有のトレーニングや修正なしに、映像強調のための汎用的なソリューションを提供する。
論文 参考訳（メタデータ） (2024-07-01T17:59:12Z) - FRESCO: Spatial-Temporal Correspondence for Zero-Shot Video Translation [85.29772293776395]
フレーム間対応とフレーム間対応のFRESCOを導入し,より堅牢な時空間制約を確立する。
この拡張により、フレーム間で意味的に類似したコンテンツのより一貫性のある変換が可能になる。
提案手法では,入力ビデオと高空間時間整合性を実現するために,特徴の明示的な更新を行う。
論文 参考訳（メタデータ） (2024-03-19T17:59:18Z) - RIGID: Recurrent GAN Inversion and Editing of Real Face Videos [73.97520691413006]
GANのインバージョンは、実画像に強力な編集可能性を適用するのに不可欠である。
既存のビデオフレームを個別に反転させる手法は、時間の経過とともに望ましくない一貫性のない結果をもたらすことが多い。
我々は、textbfRecurrent vtextbfIdeo textbfGAN textbfInversion and etextbfDiting (RIGID) という統合されたリカレントフレームワークを提案する。
本フレームワークは,入力フレーム間の固有コヒーレンスをエンドツーエンドで学習する。
論文 参考訳（メタデータ） (2023-08-11T12:17:24Z) - Recovering Continuous Scene Dynamics from A Single Blurry Image with
Events [58.7185835546638]
インプリシットビデオ関数(IVF)は、同時イベントを伴う単一の動きのぼやけた画像を表現する。
両モードの利点を効果的に活用するために、二重注意変換器を提案する。
提案するネットワークは,限られた参照タイムスタンプの地平線画像の監督のみで訓練される。
論文 参考訳（メタデータ） (2023-04-05T18:44:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。