論文の概要: Generalization in diffusion models arises from geometry-adaptive
harmonic representation
- arxiv url: http://arxiv.org/abs/2310.02557v1
- Date: Wed, 4 Oct 2023 03:30:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 16:43:45.504399
- Title: Generalization in diffusion models arises from geometry-adaptive
harmonic representation
- Title(参考訳): 拡散モデルの一般化は幾何適応調和表現から生じる
- Authors: Zahra Kadkhodaie, Florentin Guth, Eero P. Simoncelli, St\'ephane
Mallat
- Abstract要約: データセットの重複しない部分集合で訓練された2つのDNNが、ほぼ同じスコア関数を学習し、したがって同じ密度となることを示す。
また、最適基底が幾何適応的かつ調和的であることが知られている正規画像クラスでトレーニングした場合、ネットワークの雑音発生性能がほぼ最適であることを示す。
- 参考スコア(独自算出の注目度): 15.755741986753785
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High-quality samples generated with score-based reverse diffusion algorithms
provide evidence that deep neural networks (DNN) trained for denoising can
learn high-dimensional densities, despite the curse of dimensionality. However,
recent reports of memorization of the training set raise the question of
whether these networks are learning the "true" continuous density of the data.
Here, we show that two denoising DNNs trained on non-overlapping subsets of a
dataset learn nearly the same score function, and thus the same density, with a
surprisingly small number of training images. This strong generalization
demonstrates an alignment of powerful inductive biases in the DNN architecture
and/or training algorithm with properties of the data distribution. We analyze
these, demonstrating that the denoiser performs a shrinkage operation in a
basis adapted to the underlying image. Examination of these bases reveals
oscillating harmonic structures along contours and in homogeneous image
regions. We show that trained denoisers are inductively biased towards these
geometry-adaptive harmonic representations by demonstrating that they arise
even when the network is trained on image classes such as low-dimensional
manifolds, for which the harmonic basis is suboptimal. Additionally, we show
that the denoising performance of the networks is near-optimal when trained on
regular image classes for which the optimal basis is known to be
geometry-adaptive and harmonic.
- Abstract(参考訳): スコアベースの逆拡散アルゴリズムで生成された高品質なサンプルは、ディープニューラルネットワーク(DNN)が次元性の呪いにもかかわらず、ノイズの除去のために訓練された高次元密度を学習できることを示す。
しかし、トレーニングセットの記憶に関する最近の報告は、これらのネットワークがデータの「真の」連続密度を学習しているかどうかという問題を提起している。
本稿では,データセットの重複しない部分集合でトレーニングされた2つのdnnが,ほぼ同じスコア関数,つまり同じ密度を,驚くほど少ないトレーニング画像で学習することを示す。
この強力な一般化は、DNNアーキテクチャおよび/またはトレーニングアルゴリズムにおける強力な帰納バイアスとデータ分散の特性との整合性を示す。
我々はこれらの解析を行い、デノイザが基礎となる画像に適応して収縮操作を行うことを示す。
これらの基底を調べると、輪郭や均一な画像領域に沿って振動する調和構造が明らかになる。
本稿では,ネットワークが低次元多様体などの画像クラスで訓練された場合でも,これらの幾何学適応調和表現に対して帰納的バイアスを負うことを示した。
さらに、最適基底が幾何適応的かつ調和的であることが知られている正規画像クラスにおいて、ネットワークの雑音発生性能がほぼ最適であることを示す。
関連論文リスト
- Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳(メタデータ) (2023-12-04T01:32:42Z) - Factorized Diffusion Architectures for Unsupervised Image Generation and
Segmentation [24.436957604430678]
本研究では,非教師付き拡散モデルとして訓練されたニューラルネットワークアーキテクチャを,画像の生成とセグメント分割の両面から同時に学習する。
実験により,複数のデータセットにまたがって,高精度な教師なし画像分割と高品質な合成画像生成を実現することができた。
論文 参考訳(メタデータ) (2023-09-27T15:32:46Z) - Decoupled Mixup for Generalized Visual Recognition [71.13734761715472]
視覚認識のためのCNNモデルを学習するための新しい「デカップリング・ミクスアップ」手法を提案する。
本手法は,各画像を識別領域と雑音発生領域に分離し,これらの領域を均一に組み合わせてCNNモデルを訓練する。
実験結果から,未知のコンテキストからなるデータに対する本手法の高一般化性能を示す。
論文 参考訳(メタデータ) (2022-10-26T15:21:39Z) - Deep Semantic Statistics Matching (D2SM) Denoising Network [70.01091467628068]
本稿では,Deep Semantic Statistics Matching (D2SM) Denoising Networkを紹介する。
事前訓練された分類ネットワークの意味的特徴を利用して、意味的特徴空間における明瞭な画像の確率的分布と暗黙的に一致させる。
識別画像のセマンティックな分布を学習することで,ネットワークの認知能力を大幅に向上させることを実証的に見出した。
論文 参考訳(メタデータ) (2022-07-19T14:35:42Z) - Poisson2Sparse: Self-Supervised Poisson Denoising From a Single Image [34.27748767631027]
本稿では,単一画像の自己教師型学習手法を提案する。
繰り返しニューラルネットワークを用いた画像復調のための従来の反復最適化アルゴリズムを近似する。
提案手法はPSNRとSSIMの両面で最先端の手法より優れている。
論文 参考訳(メタデータ) (2022-06-04T00:08:58Z) - Adaptive Denoising via GainTuning [17.72738152112575]
画像復調のためのディープ畳み込みニューラルネットワーク(CNN)は通常、大規模なデータセットでトレーニングされる。
本稿では,大規模データセット上で事前学習したCNNモデルを,個々のテスト画像に対して適応的かつ選択的に調整する「GainTuning」を提案する。
GainTuningは、標準的な画像デノゲティングベンチマークで最先端のCNNを改善し、ホールドアウトテストセットのほぼすべての画像上でのデノゲティング性能を向上させる。
論文 参考訳(メタデータ) (2021-07-27T13:35:48Z) - Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images [98.82804259905478]
Neighbor2Neighborを提示し、ノイズの多い画像のみで効果的な画像消音モデルをトレーニングします。
ネットワークのトレーニングに使用される入力とターゲットは、同じノイズ画像からサブサンプリングされた画像である。
デノイジングネットワークは、第1段階で生成されたサブサンプルトレーニングペアで訓練され、提案された正規化器は、より良いパフォーマンスのための追加の損失として訓練される。
論文 参考訳(メタデータ) (2021-01-08T02:03:25Z) - Unrolling of Deep Graph Total Variation for Image Denoising [106.93258903150702]
本稿では,従来のグラフ信号フィルタリングと深い特徴学習を併用して,競合するハイブリッド設計を提案する。
解釈可能な低パスグラフフィルタを用い、最先端のDL復調方式DnCNNよりも80%少ないネットワークパラメータを用いる。
論文 参考訳(メタデータ) (2020-10-21T20:04:22Z) - Noise2Inverse: Self-supervised deep convolutional denoising for
tomography [0.0]
Noise2Inverseは、線形画像再構成アルゴリズムのためのディープCNNに基づくDenoising法である。
そこで我々は,そのような学習がCNNを実際に獲得することを示す理論的枠組みを構築した。
シミュレーションCTデータセットにおいて、Noss2Inverseはピーク信号対雑音比と構造類似度指数の改善を示す。
論文 参考訳(メタデータ) (2020-01-31T12:50:24Z) - Variational Denoising Network: Toward Blind Noise Modeling and Removal [59.36166491196973]
ブラインド画像のデノイングはコンピュータビジョンにおいて重要な問題であるが、非常に難しい問題である。
本稿では,ノイズ推定と画像デノーミングを併用した新しい変分推論手法を提案する。
論文 参考訳(メタデータ) (2019-08-29T15:54:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。