論文の概要: Towards a Mechanistic Explanation of Diffusion Model Generalization

• arxiv url: http://arxiv.org/abs/2411.19339v2
• Date: Fri, 14 Feb 2025 19:20:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:07:14.205797
• Title: Towards a Mechanistic Explanation of Diffusion Model Generalization
• Title（参考訳）: 拡散モデル一般化の力学的説明に向けて
• Authors: Matthew Niedoba, Berend Zwartsenberg, Kevin Murphy, Frank Wood,
• Abstract要約: 本研究では,拡散モデルの一般化動作を説明する学習自由機構を提案する。 事前学習した拡散モデルと理論上最適な経験的モデルを比較することにより、共用局所帰納バイアスを同定する。 本稿では,ネットワークの動作を再現するローカルな経験的デノイザを集約する新しいデノイケーションアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 15.72028838488601
• License:
• Abstract: We propose a simple, training-free mechanism which explains the generalization behaviour of diffusion models. By comparing pre-trained diffusion models to their theoretically optimal empirical counterparts, we identify a shared local inductive bias across a variety of network architectures. From this observation, we hypothesize that network denoisers generalize through localized denoising operations, as these operations approximate the training objective well over much of the training distribution. To validate our hypothesis, we introduce novel denoising algorithms which aggregate local empirical denoisers to replicate network behaviour. Comparing these algorithms to network denoisers across forward and reverse diffusion processes, our approach exhibits consistent visual similarity to neural network outputs, with lower mean squared error than previously proposed methods.
• Abstract（参考訳）: 本研究では,拡散モデルの一般化動作を説明する簡易な学習自由機構を提案する。 事前学習した拡散モデルと理論的に最適な経験的モデルを比較することにより、様々なネットワークアーキテクチャにおける局所帰納バイアスの共有を同定する。 本研究は,ネットワーク・ディノワザが局所的なデノナイジング操作によって一般化されることを仮定し,トレーニング対象をトレーニング分布の大部分に近似する。 この仮説を検証するために,ネットワークの動作を再現するために,局所的な経験的デノワを集約する新しいデノナイジングアルゴリズムを導入する。 これらのアルゴリズムを前方および逆拡散過程のネットワークデノイザと比較すると,従来の提案手法に比べて平均二乗誤差が低く,ニューラルネットワーク出力と一貫した視覚的類似性を示す。

関連論文リスト

• Statistical guarantees for denoising reflected diffusion models [1.9116784879310031]
  近年,進化するAIの領域が急速に拡大しているため,拡散モデルの認知化が重要な研究領域となっている。 本稿では,反射拡散モデルの統計的保証について検討する。 本研究の主な貢献は, 反射拡散モデルに基づく新しいクラスを統計的に解析することと, 時間と空間の両方における精密なスコア近似法である。
  論文  参考訳（メタデータ） (2024-11-03T13:26:35Z)
• Understanding Generalizability of Diffusion Models Requires Rethinking the Hidden Gaussian Structure [8.320632531909682]
  学習したスコア関数の隠れた性質を調べた結果,拡散モデルの一般化可能性について検討した。 拡散モデルが記憶から一般化へと遷移するにつれて、対応する非線形拡散デノイザは線形性を増加させる。
  論文  参考訳（メタデータ） (2024-10-31T15:57:04Z)
• Diffusion Priors for Variational Likelihood Estimation and Image Denoising [10.548018200066858]
  本稿では,現実の雑音に対処するために,逆拡散過程における適応的確率推定とMAP推定を提案する。 実世界の多様なデータセットの実験と分析により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-23T02:52:53Z)
• GLAD: Towards Better Reconstruction with Global and Local Adaptive Diffusion Models for Unsupervised Anomaly Detection [60.78684630040313]
  拡散モデルは、特定のノイズを付加したテスト画像の通常の画像を再構成する傾向がある。 世界的視点から見ると、異なる異常による画像再構成の難しさは不均一である。 本稿では,非教師付き異常検出のためのグローバルかつ局所的な適応拡散モデル(GLADと略す)を提案する。
  論文  参考訳（メタデータ） (2024-06-11T17:27:23Z)
• Soft Mixture Denoising: Beyond the Expressive Bottleneck of Diffusion Models [76.46246743508651]
  我々は,現在の拡散モデルが後方認知において表現力のあるボトルネックを持っていることを示した。 本稿では,後方復調のための表現的かつ効率的なモデルであるソフトミキシング・デノナイジング(SMD)を導入する。
  論文  参考訳（メタデータ） (2023-09-25T12:03:32Z)
• Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces [0.0]
  前方拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発する。 例えばBlackout Diffusion'は、ノイズからではなく、空のイメージからサンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2023-05-18T16:24:12Z)
• A Variational Perspective on Solving Inverse Problems with Diffusion Models [101.831766524264]
  逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T23:00:47Z)
• DiffusionAD: Norm-guided One-step Denoising Diffusion for Anomaly Detection [89.49600182243306]
  我々は拡散モデルを用いて再構成過程をノイズ・ツー・ノームパラダイムに再構成する。 本稿では,拡散モデルにおける従来の反復的復調よりもはるかに高速な高速な一段階復調パラダイムを提案する。 セグメント化サブネットワークは、入力画像とその異常のない復元を用いて画素レベルの異常スコアを予測する。
  論文  参考訳（メタデータ） (2023-03-15T16:14:06Z)
• From Denoising Diffusions to Denoising Markov Models [38.33676858989955]
  デノイング拡散は、顕著な経験的性能を示す最先端の生成モデルである。 本稿では、この手法を広い範囲に一般化し、スコアマッチングのオリジナル拡張につながる統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-07T14:34:27Z)
• Diffusion Models in Vision: A Survey [80.82832715884597]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)
• Denoising Diffusion Gamma Models [91.22679787578438]
  Denoising Diffusion Gamma Model (DDGM)を導入し、ガンマ分布からのノイズが画像および音声生成に改善をもたらすことを示す。 提案手法は,ガンマノイズを用いてトレーニング拡散過程の状態を効率的にサンプリングする能力を保持する。
  論文  参考訳（メタデータ） (2021-10-10T10:46:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。