論文の概要: How I Warped Your Noise: a Temporally-Correlated Noise Prior for Diffusion Models

• arxiv url: http://arxiv.org/abs/2504.03072v1
• Date: Thu, 03 Apr 2025 22:49:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:49:03.343183
• Title: How I Warped Your Noise: a Temporally-Correlated Noise Prior for Diffusion Models
• Title（参考訳）: 拡散モデルに先行する時間的相関ノイズ
• Authors: Pascal Chang, Jingwei Tang, Markus Gross, Vinicius C. Azevedo,
• Abstract要約: ノイズサンプル列における時間的相関を保存するための新しい手法を提案する。 $int$-noise(積分ノイズ)は、個々のノイズサンプルを連続的に統合されたノイズフィールドとして再解釈する。 $int$-noiseは、ビデオ復元、サロゲートレンダリング、条件付きビデオ生成など、さまざまなタスクに使用できる。
• 参考スコア（独自算出の注目度）: 7.89220773721457
• License:
• Abstract: Video editing and generation methods often rely on pre-trained image-based diffusion models. During the diffusion process, however, the reliance on rudimentary noise sampling techniques that do not preserve correlations present in subsequent frames of a video is detrimental to the quality of the results. This either produces high-frequency flickering, or texture-sticking artifacts that are not amenable to post-processing. With this in mind, we propose a novel method for preserving temporal correlations in a sequence of noise samples. This approach is materialized by a novel noise representation, dubbed $\int$-noise (integral noise), that reinterprets individual noise samples as a continuously integrated noise field: pixel values do not represent discrete values, but are rather the integral of an underlying infinite-resolution noise over the pixel area. Additionally, we propose a carefully tailored transport method that uses $\int$-noise to accurately advect noise samples over a sequence of frames, maximizing the correlation between different frames while also preserving the noise properties. Our results demonstrate that the proposed $\int$-noise can be used for a variety of tasks, such as video restoration, surrogate rendering, and conditional video generation. See https://warpyournoise.github.io/ for video results.
• Abstract（参考訳）: ビデオ編集と生成は、しばしば事前訓練された画像ベースの拡散モデルに依存する。 しかし,拡散過程において,映像のその後のフレームに存在する相関関係を保たない初歩的なノイズサンプリング技術への依存は,結果の品質に有害である。 これにより、高周波のフリッカリングや、後処理に適さないテクスチャスティックのアーティファクトが生成される。 このことを念頭において,ノイズサンプル列における時間的相関を保存するための新しい手法を提案する。 このアプローチは、$\int$-noise(積分ノイズ)と呼ばれる新しいノイズ表現によって実現され、個々のノイズサンプルを連続的に統合されたノイズ場として解釈する。 さらに、$\int$-noiseを用いて、フレーム列上のノイズサンプルを正確に検出し、異なるフレーム間の相関を最大化し、ノイズ特性を保ちながら、慎重に調整した輸送手法を提案する。 提案した$\int$-noiseは,映像再生,サロゲートレンダリング,条件付きビデオ生成など,様々なタスクに利用できることを示す。 ビデオの結果はhttps://warpyournoise.github.io/を参照。

関連論文リスト

• The Crystal Ball Hypothesis in diffusion models: Anticipating object positions from initial noise [92.53724347718173]
  拡散モデルはテキスト・画像生成タスクにおいて顕著な成功を収めた。 我々は、初期ノイズ画像内の特定の領域をトリガーパッチと呼び、結果として発生する画像のオブジェクト生成に重要な役割を果たす。
  論文  参考訳（メタデータ） (2024-06-04T05:06:00Z)
• NoiseDiffusion: Correcting Noise for Image Interpolation with Diffusion Models beyond Spherical Linear Interpolation [86.7260950382448]
  画像の妥当性を補正する新しい手法としてノイズ拡散法を提案する。 NoiseDiffusionはノイズの多い画像空間内で動作し、これらのノイズの多い画像に生画像を注入することで、情報損失の課題に対処する。
  論文  参考訳（メタデータ） (2024-03-13T12:32:25Z)
• Blue noise for diffusion models [50.99852321110366]
  本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。 我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。 本手法を用いて,各種データセットの質的,定量的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-07T14:59:25Z)
• A Generative Model for Digital Camera Noise Synthesis [12.236112464800403]
  クリーンな特徴をガイダンスとして利用し,続いてネットワークにノイズ注入を行う効果的な生成モデルを提案する。 具体的には、ジェネレータはスキップ接続を持つUNetのような構造を踏襲するが、ダウンサンプリングやアップサンプリングは行わない。 提案手法は,カメラノイズを合成するための既存手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-16T10:17:33Z)
• VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation [88.49030739715701]
  本研究は, フレームごとのノイズを, 全フレーム間で共有されるベースノイズ, 時間軸に沿って変化する残雑音に分解することで, 拡散過程を分解する。 様々なデータセットの実験により,ビデオフュージョンと呼ばれる我々の手法が,高品質なビデオ生成において,GANベースと拡散ベースの両方の選択肢を上回ることが確認された。
  論文  参考訳（メタデータ） (2023-03-15T02:16:39Z)
• Learning to Generate Realistic Noisy Images via Pixel-level Noise-aware Adversarial Training [50.018580462619425]
  我々は,PNGAN(Pixel-level Noise-aware Generative Adrial Network)という新しいフレームワークを提案する。 PNGANは、トレーニング済みのリアルデノイザーを使用して、フェイク画像とリアルノイズ画像をほぼノイズのないソリューション空間にマッピングする。 より優れたノイズフィッティングを実現するため,ジェネレータとしてSimple Multi-versa-scale Network (SMNet) を提案する。
  論文  参考訳（メタデータ） (2022-04-06T14:09:02Z)
• Noise2Score: Tweedie's Approach to Self-Supervised Image Denoising without Clean Images [35.41467558264341]
  異なるアプローチを統合するために,ノイズ2スコアと呼ばれる新しい手法を提案する。 具体的には,後部分布のモードを見つけることで,クリーンな画像のない画像認識問題に対処できることを示す。 そこで本手法では,残差復調オートエンコーダを用いて雑音画像からスコア関数を安定に推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-13T14:41:09Z)
• Adaptive noise imitation for image denoising [58.21456707617451]
  本研究では,自然雑音画像からノイズデータを合成できる新しいテキストバッファ適応ノイズ模倣(ADANI)アルゴリズムを開発した。 現実的なノイズを生成するため、ノイズ発生装置はノイズ発生のガイドとなる雑音/クリーン画像を入力として利用する。 ADANIから出力されるノイズデータとそれに対応する基盤構造とを結合すると、デノイングCNNは、完全に教師された方法で訓練される。
  論文  参考訳（メタデータ） (2020-11-30T02:49:36Z)
• Handling noise in image deblurring via joint learning [0.3407858371718068]
  多くのブラインドデブロワー法は、ぼやけた画像はノイズのないものと仮定し、ノイズのあるぼやけた画像に対して不満足に処理する。 本稿では,デノイザサブネットワークとデブロワーサブネットワークからなるカスケードフレームワークを提案する。 共同学習は, 脱臭後の残音が脱臭に及ぼす影響を低減し, 重騒音に対する脱臭の堅牢性を向上させる。
  論文  参考訳（メタデータ） (2020-01-27T12:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。