論文の概要: Noise Calibration: Plug-and-play Content-Preserving Video Enhancement using Pre-trained Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2407.10285v1
• Date: Sun, 14 Jul 2024 17:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 18:49:26.823512
• Title: Noise Calibration: Plug-and-play Content-Preserving Video Enhancement using Pre-trained Video Diffusion Models
• Title（参考訳）: ノイズキャリブレーション:事前学習映像拡散モデルを用いたプラグアンドプレイコンテンツ保存映像強調
• Authors: Qinyu Yang, Haoxin Chen, Yong Zhang, Menghan Xia, Xiaodong Cun, Zhixun Su, Ying Shan,
• Abstract要約: コンテンツの視覚的品質と一貫性の両方を考慮した新しい定式化を提案する。 コンテントの整合性は,事前学習した拡散モデルのデノナイジングプロセスを利用して視覚的品質を向上させるとともに,入力の構造を維持可能な損失関数によって保証される。
• 参考スコア（独自算出の注目度）: 47.518487213173785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In order to improve the quality of synthesized videos, currently, one predominant method involves retraining an expert diffusion model and then implementing a noising-denoising process for refinement. Despite the significant training costs, maintaining consistency of content between the original and enhanced videos remains a major challenge. To tackle this challenge, we propose a novel formulation that considers both visual quality and consistency of content. Consistency of content is ensured by a proposed loss function that maintains the structure of the input, while visual quality is improved by utilizing the denoising process of pretrained diffusion models. To address the formulated optimization problem, we have developed a plug-and-play noise optimization strategy, referred to as Noise Calibration. By refining the initial random noise through a few iterations, the content of original video can be largely preserved, and the enhancement effect demonstrates a notable improvement. Extensive experiments have demonstrated the effectiveness of the proposed method.
• Abstract（参考訳）: 合成ビデオの品質を向上させるため、現在では、エキスパート拡散モデルを再訓練し、精巧化のためのノイズ発生処理を実装する方法が主流となっている。 トレーニングコストは大きいが、オリジナルと強化されたビデオ間のコンテンツの一貫性を維持することは大きな課題だ。 この課題に対処するために,コンテンツの視覚的品質と一貫性の両方を考慮した新しい定式化を提案する。 コンテントの整合性は,事前学習した拡散モデルのデノナイジングプロセスを利用して視覚的品質を向上させるとともに,入力の構造を維持可能な損失関数によって保証される。 定式化された最適化問題に対処するため,ノイズキャリブレーションと呼ばれるプラグアンドプレイノイズ最適化戦略を開発した。 数回繰り返して初期ランダムノイズを精査することにより、オリジナルビデオの内容を大幅に保存することができ、拡張効果は顕著な改善を示す。 提案手法の有効性を実験により実証した。

関連論文リスト

• Training-Free Adaptive Diffusion with Bounded Difference Approximation Strategy [44.09909260046396]
  雑音発生過程における雑音予測のステップを削減するための適応拡散法を提案する。 提案手法は, 最大25倍の速度アップを達成し, 元の処理と同一の処理結果を生成するとともに, デノナイズ処理を著しく高速化することができる。
  論文  参考訳（メタデータ） (2024-10-13T15:19:18Z)
• VideoGuide: Improving Video Diffusion Models without Training Through a Teacher's Guide [48.22321420680046]
  VideoGuideは、事前訓練されたテキスト・ツー・ビデオ(T2V)モデルの時間的一貫性を高める新しいフレームワークである。 ガイドモデルの復調標本をサンプリングモデルの復調過程に補間することにより、時間的品質を向上させる。 提案手法は時間的一貫性と画像の忠実度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-06T05:46:17Z)
• Combining Pre- and Post-Demosaicking Noise Removal for RAW Video [2.772895608190934]
  Denoisingは、カメラセンサーが捉えたデータをディスプレイ対応の画像やビデオに変換する処理パイプラインの基本ステップの1つである。 本研究では,ベイアパターンのCFAビデオデータに対して,事前および復号化後のデノイザを重み付けする自己相似型デノイザ方式を提案する。 両者のバランスが画像品質の向上につながることを示し、高ノイズレベルがより高影響のプレデモーザックの恩恵を受けることを実証的に見出した。
  論文  参考訳（メタデータ） (2024-10-03T15:20:19Z)
• FreeEnhance: Tuning-Free Image Enhancement via Content-Consistent Noising-and-Denoising Process [120.91393949012014]
  FreeEnhanceは、既製の画像拡散モデルを用いたコンテンツ一貫性のある画像強調のためのフレームワークである。 ノイズ発生段階では、FreeEnhanceは、元の画像の高頻度パターンを保存するために、より周波数の高い領域により軽いノイズを加えるように考案されている。 この段階では3つの目標特性を予測された雑音の規則化の制約として提示し,高精度で視覚的品質の高い画像の強調を行う。
  論文  参考訳（メタデータ） (2024-09-11T17:58:50Z)
• Zero-Shot Video Editing through Adaptive Sliding Score Distillation [51.57440923362033]
  本研究は,オリジナルビデオコンテンツの直接操作を容易にする,ビデオベースのスコア蒸留の新たなパラダイムを提案する。 本稿では,グローバルとローカルの両方の動画ガイダンスを取り入れた適応スライディングスコア蒸留方式を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:33:59Z)
• FreeInit: Bridging Initialization Gap in Video Diffusion Models [42.38240625514987]
  FreeInitは、トレーニングと推論のギャップを補うことができ、それによって、生成結果の主観的外観と時間的一貫性を効果的に改善することができる。 実験により、FreeInitはトレーニングや微調整を伴わずに、様々なテキスト・ビデオ拡散モデルの生成品質を一貫して向上させることが示された。
  論文  参考訳（メタデータ） (2023-12-12T18:59:16Z)
• VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation [88.49030739715701]
  本研究は, フレームごとのノイズを, 全フレーム間で共有されるベースノイズ, 時間軸に沿って変化する残雑音に分解することで, 拡散過程を分解する。 様々なデータセットの実験により,ビデオフュージョンと呼ばれる我々の手法が,高品質なビデオ生成において,GANベースと拡散ベースの両方の選択肢を上回ることが確認された。
  論文  参考訳（メタデータ） (2023-03-15T02:16:39Z)
• Encoding in the Dark Grand Challenge: An Overview [60.9261003831389]
  低照度映像シーケンスの符号化に関するグランドチャレンジを提案する。 VVCは、エンコーディングに先立って単にビデオソースをデノベートするよりも高いパフォーマンスを達成する。 後処理画像強調法を用いることで、ビデオストリームの品質をさらに向上することができる。
  論文  参考訳（メタデータ） (2020-05-07T08:22:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。