Fugu-MT 論文翻訳(概要): Towards a Mechanistic Explanation of Diffusion Model Generalization

論文の概要: Towards a Mechanistic Explanation of Diffusion Model Generalization

arxiv url: http://arxiv.org/abs/2411.19339v1
Date: Thu, 28 Nov 2024 19:22:17 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-02 15:22:58.102747
Title: Towards a Mechanistic Explanation of Diffusion Model Generalization
Title（参考訳）: 拡散モデル一般化の力学的説明に向けて
Authors: Matthew Niedoba, Berend Zwartsenberg, Kevin Murphy, Frank Wood,
Abstract要約: 局所復調演算は最適な拡散復調器を近似するために用いられる。本研究では,拡散モデルデノイザの前方および逆拡散過程に対する一般化挙動を近似したデノイザを構築する。
参考スコア（独自算出の注目度）: 15.72028838488601
License:
Abstract: We propose a mechanism for diffusion generalization based on local denoising operations. Through analysis of network and empirical denoisers, we identify local inductive biases in diffusion models. We demonstrate that local denoising operations can be used to approximate the optimal diffusion denoiser. Using a collection of patch-based, local empirical denoisers, we construct a denoiser which approximates the generalization behaviour of diffusion model denoisers over forward and reverse diffusion processes.
Abstract（参考訳）: 本稿では,局所的復調操作に基づく拡散一般化機構を提案する。ネットワークおよび経験的デノイザの解析を通じて,拡散モデルにおける局所帰納バイアスを同定する。最適な拡散復調器を近似するために,局所的復調演算が有効であることを示す。パッチベースの局所的経験的デノイザの集合を用いて,拡散モデルデノイザの前方および逆拡散過程に対する一般化挙動を近似するデノイザを構築する。

関連論文リスト

Understanding Generalizability of Diffusion Models Requires Rethinking the Hidden Gaussian Structure [8.320632531909682]
学習したスコア関数の隠れた性質を調べた結果,拡散モデルの一般化可能性について検討した。拡散モデルが記憶から一般化へと遷移するにつれて、対応する非線形拡散デノイザは線形性を増加させる。
論文参考訳（メタデータ） (2024-10-31T15:57:04Z)
Improved off-policy training of diffusion samplers [93.66433483772055]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文参考訳（メタデータ） (2024-02-07T18:51:49Z)
Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization [45.72323731094864]
本稿では,2層ニューラルネットワークを用いた拡散モデル解析のための理論的枠組みを提案する。我々は,1つの凸プログラムを解くことで,スコア予測のための浅層ニューラルネットワークのトレーニングが可能であることを証明した。本結果は, ニューラルネットワークに基づく拡散モデルが漸近的でない環境で何を学習するかを, 正確に評価するものである。
論文参考訳（メタデータ） (2024-02-03T00:20:25Z)
Generative Diffusion From An Action Principle [0.0]
スコアマッチングは、物理でよく用いられるようなアクション原理から導出できることを示す。この洞察を用いて、異なる拡散モデルのクラス間の関係を実証する。
論文参考訳（メタデータ） (2023-10-06T18:00:00Z)
Observation-Guided Diffusion Probabilistic Models [41.749374023639156]
観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散に基づく画像生成法を提案する。本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。本研究では,強力な拡散モデルベースライン上での多様な推論手法を用いたトレーニングアルゴリズムの有効性を示す。
論文参考訳（メタデータ） (2023-10-06T06:29:06Z)
A Variational Perspective on Solving Inverse Problems with Diffusion Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。そこで我々は,真の後続分布を近似する設計手法を提案する。
論文参考訳（メタデータ） (2023-05-07T23:00:47Z)
Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。まず,このような正弦波ニューラルネットワークの簡易版を提案する。次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文参考訳（メタデータ） (2022-11-26T07:41:48Z)
Reconciliation of Pre-trained Models and Prototypical Neural Networks in Few-shot Named Entity Recognition [35.34238362639678]
本研究では,このようなミスマッチを経験的・理論的根拠と整合させる一線符号正規化法を提案する。我々の研究は、数発のエンティティ認識における一般的な問題に対処するための分析的な視点も提供します。
論文参考訳（メタデータ） (2022-11-07T02:33:45Z)
Local Graph-homomorphic Processing for Privatized Distributed Systems [57.14673504239551]
付加雑音は学習モデルの性能に影響を与えないことを示す。これは、分散アルゴリズムの差分プライバシーに関する以前の研究に対して、大きな改善である。
論文参考訳（メタデータ） (2022-10-26T10:00:14Z)
How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文参考訳（メタデータ） (2022-06-10T15:09:46Z)
Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文参考訳（メタデータ） (2021-06-15T18:34:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。