論文の概要: Taming Noise Initialization for Zero-shot Video Restoration with Image Diffusion Priors

• arxiv url: http://arxiv.org/abs/2610.37290v1
• Date: Tue, 27 Oct 2026 14:13:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.653646
• Title: Taming Noise Initialization for Zero-shot Video Restoration with Image Diffusion Priors
• Title（参考訳）: 画像拡散プリミティブを用いたゼロショット映像再生のためのタミングノイズ初期化
• Abstract要約: 増加傾向は、事前訓練された画像拡散モデルを利用して、フレームワイド独立あるいは同一のガウスノイズからの復元を開始することによって、映像復元に対処しようとするものである。 しかし、このような単純なノイズ発生は、劣化したビデオフレーム内の固有の時間的相関を捉え、利用できないため、これらのアプローチはしばしば短くなる。 本研究では,劣化したビデオフレーム自体のDDIMインバージョンを直接生成することにより,固有時間相関を保ちながら,ゼロショット映像の再生を行う手法を提案する。
• 参考スコア（独自算出の注目度）: 77.22403783950752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in diffusion models have achieved remarkable success in restoring high-quality images in a zero-shot manner. Unfortunately, extending this success to video restoration is challenging due to the substantial computational resources required to pre-train video diffusion models. A rising trend seeks to address video restoration by utilizing a pre-trained image diffusion model, initiating restoration from either frame-wise independent or identical Gaussian noise. Yet, these approaches often fall short, as such simple noise initiations fail to capture and utilize the inherent temporal correlations within degraded video frames. In this work, we propose taming noise initialization for zero-shot video restoration, which preserves the intrinsic temporal correlations by generating initial noises directly using DDIM inversion on the corrupted video frames themselves. Building on this, we introduce an adaptive noise blending strategy that suppresses degradation patterns encoded during DDIM inversion while gradually steering the noise toward a Gaussian distribution. To further emphasize temporal consistency, we propose measurement-guided trajectory attention to better align features across frames. Extensive experiments on multiple video restoration tasks demonstrate that our method outperforms existing zero-shot approaches, consistently achieving superior results on the DAVIS, REDS4, and Set8 datasets.
• Abstract（参考訳）: 拡散モデルの最近の進歩は、ゼロショット方式で高品質な画像の復元に顕著な成功を収めている。 残念ながら、この成功をビデオ再生に拡張することは、ビデオ拡散モデルの事前訓練に必要な膨大な計算資源のために困難である。 増加傾向は、事前訓練された画像拡散モデルを利用して、フレームワイド独立あるいは同一のガウスノイズからの復元を開始することによって、映像復元に対処しようとするものである。 しかし、このような単純なノイズ発生は、劣化したビデオフレーム内の固有の時間的相関を捉え、利用できないため、これらのアプローチはしばしば短くなる。 本研究では,劣化したビデオフレーム自体のDDIMインバージョンを直接生成することにより,固有時間相関を保ちながら,ゼロショット映像の再生を行う手法を提案する。 そこで本研究では, DDIMのインバージョン中に符号化された劣化パターンを, ガウス分布に向けて段階的に操りながら抑制する適応型ノイズブレンディング手法を提案する。 時間的整合性をさらに強調するため, フレーム間の配向性を改善するため, 計測誘導軌道注意法を提案する。 複数のビデオ復元タスクに関する大規模な実験により,本手法は既存のゼロショット手法よりも優れており,DAVIS,REDS4,Set8データセットにおいて常に優れた結果が得られることが示された。

関連論文リスト

• LVTINO: LAtent Video consisTency INverse sOlver for High Definition Video Restoration [3.2944592608677614]
  本稿では,VCMで符号化された先行画像を用いた高精細ビデオ再生のための,最初のゼロショット・プラグ・アンド・プレイ逆解器であるLVTINOを提案する。 我々の条件付け機構は、自動微分の必要性を回避し、少数のニューラルファンクション評価で最先端のビデオ再構成品質を達成する。
  論文  参考訳（メタデータ） (2025-10-01T18:10:08Z)
• DiTVR: Zero-Shot Diffusion Transformer for Video Restoration [48.97196894658511]
  DiTVRはゼロショットビデオ復元フレームワークで、拡散トランスフォーマーと軌跡を意識した注意と流れ一貫したサンプルを結合する。 我々の注意機構は、光流路に沿ってトークンを整列させ、特に時間力学に最も敏感な重要な層に重点を置いている。 フローガイドされたサンプリング装置は、低周波帯域にのみデータの一貫性を注入し、キャッシュを加速させながら高周波事前保存を行う。
  論文  参考訳（メタデータ） (2025-08-11T09:54:45Z)
• Zero-Shot Video Restoration and Enhancement Using Pre-Trained Image Diffusion Model [15.170889156729777]
  本稿では,事前学習した画像拡散モデルに基づいて,ゼロショット映像の復元と拡張を行うための第1のフレームワークを提案する。 本手法は,任意の拡散型画像復元・拡張手法に挿入可能なプラグアンドプレイモジュールである。
  論文  参考訳（メタデータ） (2024-07-02T05:31:59Z)
• TRIP: Temporal Residual Learning with Image Noise Prior for Image-to-Video Diffusion Models [94.24861019513462]
  TRIPは画像間拡散パラダイムの新しいレシピである。 静的画像から派生した画像ノイズをピボットして、フレーム間の関係推論を共同でトリガーする。 WebVid-10M、DTDB、MSR-VTTデータセットに関する大規模な実験は、TRIPの有効性を示している。
  論文  参考訳（メタデータ） (2024-03-25T17:59:40Z)
• VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation [88.49030739715701]
  本研究は, フレームごとのノイズを, 全フレーム間で共有されるベースノイズ, 時間軸に沿って変化する残雑音に分解することで, 拡散過程を分解する。 様々なデータセットの実験により,ビデオフュージョンと呼ばれる我々の手法が,高品質なビデオ生成において,GANベースと拡散ベースの両方の選択肢を上回ることが確認された。
  論文  参考訳（メタデータ） (2023-03-15T02:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。