論文の概要: Towards a Mechanistic Explanation of Diffusion Model Generalization

• arxiv url: http://arxiv.org/abs/2411.19339v2
• Date: Fri, 14 Feb 2025 19:20:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:07:14.205797
• Title: Towards a Mechanistic Explanation of Diffusion Model Generalization
• Title（参考訳）: 拡散モデル一般化の力学的説明に向けて
• Authors: Matthew Niedoba, Berend Zwartsenberg, Kevin Murphy, Frank Wood,
• Abstract要約: 本研究では,拡散モデルの一般化動作を説明する学習自由機構を提案する。 事前学習した拡散モデルと理論上最適な経験的モデルを比較することにより、共用局所帰納バイアスを同定する。 本稿では,ネットワークの動作を再現するローカルな経験的デノイザを集約する新しいデノイケーションアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 15.72028838488601
• License:
• Abstract: We propose a simple, training-free mechanism which explains the generalization behaviour of diffusion models. By comparing pre-trained diffusion models to their theoretically optimal empirical counterparts, we identify a shared local inductive bias across a variety of network architectures. From this observation, we hypothesize that network denoisers generalize through localized denoising operations, as these operations approximate the training objective well over much of the training distribution. To validate our hypothesis, we introduce novel denoising algorithms which aggregate local empirical denoisers to replicate network behaviour. Comparing these algorithms to network denoisers across forward and reverse diffusion processes, our approach exhibits consistent visual similarity to neural network outputs, with lower mean squared error than previously proposed methods.
• Abstract（参考訳）: 本研究では,拡散モデルの一般化動作を説明する簡易な学習自由機構を提案する。 事前学習した拡散モデルと理論的に最適な経験的モデルを比較することにより、様々なネットワークアーキテクチャにおける局所帰納バイアスの共有を同定する。 本研究は,ネットワーク・ディノワザが局所的なデノナイジング操作によって一般化されることを仮定し,トレーニング対象をトレーニング分布の大部分に近似する。 この仮説を検証するために,ネットワークの動作を再現するために,局所的な経験的デノワを集約する新しいデノナイジングアルゴリズムを導入する。 これらのアルゴリズムを前方および逆拡散過程のネットワークデノイザと比較すると,従来の提案手法に比べて平均二乗誤差が低く,ニューラルネットワーク出力と一貫した視覚的類似性を示す。

関連論文リスト

• Understanding Generalizability of Diffusion Models Requires Rethinking the Hidden Gaussian Structure [8.320632531909682]
  学習したスコア関数の隠れた性質を調べた結果,拡散モデルの一般化可能性について検討した。 拡散モデルが記憶から一般化へと遷移するにつれて、対応する非線形拡散デノイザは線形性を増加させる。
  論文  参考訳（メタデータ） (2024-10-31T15:57:04Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization [45.72323731094864]
  本稿では,2層ニューラルネットワークを用いた拡散モデル解析のための理論的枠組みを提案する。 我々は,1つの凸プログラムを解くことで,スコア予測のための浅層ニューラルネットワークのトレーニングが可能であることを証明した。 本結果は, ニューラルネットワークに基づく拡散モデルが漸近的でない環境で何を学習するかを, 正確に評価するものである。
  論文  参考訳（メタデータ） (2024-02-03T00:20:25Z)
• Generative Diffusion From An Action Principle [0.0]
  スコアマッチングは、物理でよく用いられるようなアクション原理から導出できることを示す。 この洞察を用いて、異なる拡散モデルのクラス間の関係を実証する。
  論文  参考訳（メタデータ） (2023-10-06T18:00:00Z)
• Observation-Guided Diffusion Probabilistic Models [41.749374023639156]
  観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散に基づく画像生成法を提案する。 本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。 本研究では,強力な拡散モデルベースライン上での多様な推論手法を用いたトレーニングアルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-06T06:29:06Z)
• A Variational Perspective on Solving Inverse Problems with Diffusion Models [101.831766524264]
  逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T23:00:47Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Reconciliation of Pre-trained Models and Prototypical Neural Networks in Few-shot Named Entity Recognition [35.34238362639678]
  本研究では,このようなミスマッチを経験的・理論的根拠と整合させる一線符号正規化法を提案する。 我々の研究は、数発のエンティティ認識における一般的な問題に対処するための分析的な視点も提供します。
  論文  参考訳（メタデータ） (2022-11-07T02:33:45Z)
• Local Graph-homomorphic Processing for Privatized Distributed Systems [57.14673504239551]
  付加雑音は学習モデルの性能に影響を与えないことを示す。 これは、分散アルゴリズムの差分プライバシーに関する以前の研究に対して、大きな改善である。
  論文  参考訳（メタデータ） (2022-10-26T10:00:14Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。