Fugu-MT 論文翻訳(概要): Understanding Memorization in Generative Models via Sharpness in Probability Landscapes

論文の概要: Understanding Memorization in Generative Models via Sharpness in Probability Landscapes

arxiv url: http://arxiv.org/abs/2412.04140v1
Date: Thu, 05 Dec 2024 13:07:24 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-06 14:42:04.518628
Title: Understanding Memorization in Generative Models via Sharpness in Probability Landscapes
Title（参考訳）: 確率景観におけるシャープネスによる生成モデルの記憶の理解
Authors: Dongjae Jeon, Dueun Kim, Albert No,
Abstract要約: 対数確率密度のHessianの固有値を用いて拡散モデルのメモリ化を解析する。提案手法は,拡散モデルにおける記憶の明確な理解を提供し,セキュアで信頼性の高い生成モデルを実現するための戦略開発の基礎となる。
参考スコア（独自算出の注目度）: 5.116399056871577
License:
Abstract: In this paper, we introduce a geometric framework to analyze memorization in diffusion models using the eigenvalues of the Hessian of the log probability density. We propose that memorization arises from isolated points in the learned probability distribution, characterized by sharpness in the probability landscape, as indicated by large negative eigenvalues of the Hessian. Through experiments on various datasets, we demonstrate that these eigenvalues effectively detect and quantify memorization. Our approach provides a clear understanding of memorization in diffusion models and lays the groundwork for developing strategies to ensure secure and reliable generative models
Abstract（参考訳）: 本稿では,ログ確率密度のHessianの固有値を用いて拡散モデルのメモリ化を解析するための幾何学的枠組みを提案する。本稿では, 確率分布の急激さを特徴とする学習確率分布の孤立点から, 暗記が生じることをヘッセンの負の固有値の大きな値として提案する。様々なデータセットの実験を通して,これらの固有値がメモリ化を効果的に検出し,定量化することを示した。我々のアプローチは拡散モデルにおける記憶の明確な理解を提供し、安全で信頼性の高い生成モデルを確保するための戦略開発の基礎となる。

関連論文リスト

A Likelihood Based Approach to Distribution Regression Using Conditional Deep Generative Models [6.647819824559201]
本研究では,条件付き深部生成モデルの推定のための可能性に基づくアプローチの大規模サンプル特性について検討する。その結果,条件分布を推定するための最大極大推定器の収束率を導いた。
論文参考訳（メタデータ） (2024-10-02T20:46:21Z)
Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文参考訳（メタデータ） (2024-06-06T17:59:09Z)
Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文参考訳（メタデータ） (2024-03-03T23:15:48Z)
On the Properties and Estimation of Pointwise Mutual Information Profiles [49.877314063833296]
ポイントワイド相互情報プロファイル(ポイントワイド相互情報プロファイル、英: pointwise mutual information profile)は、与えられた確率変数のペアに対するポイントワイド相互情報の分布である。そこで我々は,モンテカルロ法を用いて分布を正確に推定できる新しい分布系 Bend と Mix Models を導入する。
論文参考訳（メタデータ） (2023-10-16T10:02:24Z)
Kernel Density Matrices for Probabilistic Deep Learning [8.486487001779416]
量子力学において、密度行列は量子系の状態を記述する最も一般的な方法である。本稿では,確率的深層学習,カーネル密度行列に対する新しいアプローチを提案する。これは連続確率変数と離散確率変数の両方の結合確率分布を表現するためのより単純で効果的なメカニズムを提供する。
論文参考訳（メタデータ） (2023-05-26T12:59:58Z)
ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文参考訳（メタデータ） (2023-04-07T15:17:48Z)
Nonparametric Probabilistic Regression with Coarse Learners [1.8275108630751844]
我々は, 密度の形状や形状について最小限の仮定で, 正確な条件密度を計算することができることを示す。このアプローチをさまざまなデータセットで実証し、特に大きなデータセットで競合性能を示す。
論文参考訳（メタデータ） (2022-10-28T16:25:26Z)
InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
論文参考訳（メタデータ） (2021-06-25T16:34:05Z)
On Memorization in Probabilistic Deep Generative Models [4.987581730476023]
深層生成モデルの最近の進歩は、様々なアプリケーション領域において印象的な結果をもたらしている。深層学習モデルが入力データの一部を記憶する可能性に触発されたため、記憶の仕組みを理解するための努力が増加している。
論文参考訳（メタデータ） (2021-06-06T19:33:04Z)
GENs: Generative Encoding Networks [4.269725092203672]
本稿では,未知のデータ分布と未知のターゲット分布を一致させるために,Jensen-Shannon分散を推定するための非パラメトリック密度法を提案し,解析する。この分析法には、サンプル量のトレーニングが低いときのより良い振舞い、証明可能な収束特性、比較的少ないパラメータ、分析的に導出できるパラメータなど、いくつかの利点がある。
論文参考訳（メタデータ） (2020-10-28T23:40:03Z)
Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
論文参考訳（メタデータ） (2020-07-29T07:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。