論文の概要: NoiseDiffusion: Correcting Noise for Image Interpolation with Diffusion Models beyond Spherical Linear Interpolation
- arxiv url: http://arxiv.org/abs/2403.08840v1
- Date: Wed, 13 Mar 2024 12:32:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-16 00:41:28.797846
- Title: NoiseDiffusion: Correcting Noise for Image Interpolation with Diffusion Models beyond Spherical Linear Interpolation
- Title（参考訳）: ノイズ拡散:球状線形補間を超えた拡散モデルによる画像補間のための補正ノイズ
- Authors: PengFei Zheng, Yonggang Zhang, Zhen Fang, Tongliang Liu, Defu Lian, Bo Han,
- Abstract要約: 画像の妥当性を補正する新しい手法としてノイズ拡散法を提案する。
NoiseDiffusionはノイズの多い画像空間内で動作し、これらのノイズの多い画像に生画像を注入することで、情報損失の課題に対処する。
- 参考スコア（独自算出の注目度）: 86.7260950382448
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image interpolation based on diffusion models is promising in creating fresh and interesting images. Advanced interpolation methods mainly focus on spherical linear interpolation, where images are encoded into the noise space and then interpolated for denoising to images. However, existing methods face challenges in effectively interpolating natural images (not generated by diffusion models), thereby restricting their practical applicability. Our experimental investigations reveal that these challenges stem from the invalidity of the encoding noise, which may no longer obey the expected noise distribution, e.g., a normal distribution. To address these challenges, we propose a novel approach to correct noise for image interpolation, NoiseDiffusion. Specifically, NoiseDiffusion approaches the invalid noise to the expected distribution by introducing subtle Gaussian noise and introduces a constraint to suppress noise with extreme values. In this context, promoting noise validity contributes to mitigating image artifacts, but the constraint and introduced exogenous noise typically lead to a reduction in signal-to-noise ratio, i.e., loss of original image information. Hence, NoiseDiffusion performs interpolation within the noisy image space and injects raw images into these noisy counterparts to address the challenge of information loss. Consequently, NoiseDiffusion enables us to interpolate natural images without causing artifacts or information loss, thus achieving the best interpolation results.
- Abstract（参考訳）: 拡散モデルに基づく画像補間は、新しく興味深い画像を作成する上で有望である。
高度な補間法は主に球状線形補間に焦点を当てており、そこでは画像がノイズ空間にエンコードされ、画像に雑音を与えるために補間される。
しかし,既存の手法では,自然画像(拡散モデルでは生成しない)を効果的に補間し,実用性を制限するという課題に直面している。
実験により、これらの課題は符号化ノイズの無効性に起因し、期待される雑音分布、例えば正規分布に従わない可能性があることが判明した。
これらの課題に対処するために,画像補間のためのノイズ補正手法であるNossDiffusionを提案する。
具体的には、ノイズ拡散は、微妙なガウスノイズを導入し、極値の雑音を抑える制約を導入することにより、期待される分布に不正ノイズをアプローチする。
この文脈では、ノイズの有効性の促進は画像アーティファクトの緩和に寄与するが、制約や外因性ノイズの導入は、通常、信号対雑音比、すなわち原画像情報の損失を減少させる。
したがって、ノイズ拡散はノイズの多い画像空間内で補間を行い、これらのノイズの多い画像に生画像を注入し、情報損失の課題に対処する。
その結果、ノイズ拡散により、人工物や情報損失を発生させることなく自然画像の補間が可能となり、最高の補間結果が得られる。
関連論文リスト
- There and Back Again: On the relation between noises, images, and their inversions in diffusion models [3.5707423185282665]
拡散確率モデル(DDPM)は、ランダムノイズから新しい画像を合成する際に最先端の性能を達成する。
近年のDDPMベースの編集技術は、画像を近似した星音に戻すことでこの問題を緩和しようとしている。
本研究では,初期ガウス雑音,それから発生するサンプル,およびインバージョン処理により得られた対応する潜時符号化との関係について検討する。
論文 参考訳（メタデータ） (2024-10-31T00:30:35Z) - Diffusion-Based Image-to-Image Translation by Noise Correction via Prompt Interpolation [43.48099716183503]
本稿では,拡散に基づく画像から画像への変換に適した学習自由なアプローチを提案する。
本手法は,既存の画像から画像への翻訳手法に容易に組み込むことができる。
論文 参考訳（メタデータ） (2024-09-12T14:30:45Z) - Stimulating Diffusion Model for Image Denoising via Adaptive Embedding and Ensembling [56.506240377714754]
DMID(Diffusion Model for Image Denoising)と呼ばれる新しい手法を提案する。
我々の戦略は、雑音のある画像を事前訓練された非条件拡散モデルに埋め込む適応的な埋め込み法を含む。
我々のDMID戦略は、歪みベースと知覚ベースの両方で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-07-08T14:59:41Z) - SVNR: Spatially-variant Noise Removal with Denoising Diffusion [43.2405873681083]
本稿では,より現実的で空間的変動のある雑音モデルを想定した,微分拡散の新たな定式化について述べる。
実験では,強い拡散モデルベースラインに対するアプローチの利点と,最先端の単一画像復号法に対するアプローチの利点を実証する。
論文 参考訳（メタデータ） (2023-06-28T09:32:00Z) - Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。
これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。
まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。
次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
論文 参考訳（メタデータ） (2023-05-17T13:56:48Z) - Real-World Denoising via Diffusion Model [14.722529440511446]
実世界のイメージデノイングは、自然の環境で撮影されたノイズの多い画像からクリーンなイメージを復元することを目的としている。
拡散モデルは画像生成の分野で非常に有望な結果を得た。
本稿では,実世界の画像のデノナイズに使用可能な,新しい一般デノナイズ拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-05-08T04:48:03Z) - Learning to Generate Realistic Noisy Images via Pixel-level Noise-aware
Adversarial Training [50.018580462619425]
我々は,PNGAN(Pixel-level Noise-aware Generative Adrial Network)という新しいフレームワークを提案する。
PNGANは、トレーニング済みのリアルデノイザーを使用して、フェイク画像とリアルノイズ画像をほぼノイズのないソリューション空間にマッピングする。
より優れたノイズフィッティングを実現するため,ジェネレータとしてSimple Multi-versa-scale Network (SMNet) を提案する。
論文 参考訳（メタデータ） (2022-04-06T14:09:02Z) - FINO: Flow-based Joint Image and Noise Model [23.9749061109964]
フローベースジョイントイメージとノイズモデル(FINO)
本研究では,フローベース・ジョイント・イメージ・アンド・ノイズモデル(FINO)を提案する。
論文 参考訳（メタデータ） (2021-11-11T02:51:54Z) - Adaptive noise imitation for image denoising [58.21456707617451]
本研究では,自然雑音画像からノイズデータを合成できる新しいテキストバッファ適応ノイズ模倣(ADANI)アルゴリズムを開発した。
現実的なノイズを生成するため、ノイズ発生装置はノイズ発生のガイドとなる雑音/クリーン画像を入力として利用する。
ADANIから出力されるノイズデータとそれに対応する基盤構造とを結合すると、デノイングCNNは、完全に教師された方法で訓練される。
論文 参考訳（メタデータ） (2020-11-30T02:49:36Z) - Variational Denoising Network: Toward Blind Noise Modeling and Removal [59.36166491196973]
ブラインド画像のデノイングはコンピュータビジョンにおいて重要な問題であるが、非常に難しい問題である。
本稿では,ノイズ推定と画像デノーミングを併用した新しい変分推論手法を提案する。
論文 参考訳（メタデータ） (2019-08-29T15:54:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。