Fugu-MT 論文翻訳(概要): Understanding Memorization in Generative Models via Sharpness in Probability Landscapes

論文の概要: Understanding Memorization in Generative Models via Sharpness in Probability Landscapes

arxiv url: http://arxiv.org/abs/2412.04140v2
Date: Sun, 02 Mar 2025 00:00:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-04 16:11:27.535226
Title: Understanding Memorization in Generative Models via Sharpness in Probability Landscapes
Title（参考訳）: 確率景観におけるシャープネスによる生成モデルの記憶の理解
Authors: Dongjae Jeon, Dueun Kim, Albert No,
Abstract要約: 本稿では,ログ確率密度のシャープネスを用いて拡散モデルの記憶度を解析するための幾何学的枠組みを提案する。本稿では,潜時拡散モデルにおける画像生成の初期段階におけるシャープネスを定量化する手法を提案する。
参考スコア（独自算出の注目度）: 5.116399056871577
License:
Abstract: In this paper, we introduce a geometric framework to analyze memorization in diffusion models through the sharpness of the log probability density. We mathematically justify a previously proposed score-difference-based memorization metric by demonstrating its effectiveness in quantifying sharpness. Additionally, we propose a novel memorization metric that captures sharpness at the initial stage of image generation in latent diffusion models, offering early insights into potential memorization. Leveraging this metric, we develop a mitigation strategy that optimizes the initial noise of the generation process using a sharpness-aware regularization term.
Abstract（参考訳）: 本稿では,対数確率密度のシャープネスによって拡散モデルの記憶を解析するための幾何学的枠組みを提案する。シャープネスの定量化に有効であることを示すことによって,従来提案されていたスコア差に基づく記憶度を数学的に正当化する。さらに,潜時拡散モデルにおける画像生成の初期段階におけるシャープネスを捉え,潜在的な記憶の早期洞察を提供する新しい記憶度指標を提案する。この指標を活用することで、シャープネスを意識した正規化項を用いて生成プロセスの初期ノイズを最適化する緩和戦略を開発する。

関連論文リスト

Skewed Memorization in Large Language Models: Quantification and Decomposition [23.097554469918357]
LLM(Large Language Models)のメモリ化は、プライバシとセキュリティのリスクを引き起こす。本稿では,教師付き微調整(SFT)の記憶について検討し,トレーニング期間,データセットサイズ,サンプル間類似度との関係について検討する。
論文参考訳（メタデータ） (2025-02-03T09:23:53Z)
A Likelihood Based Approach to Distribution Regression Using Conditional Deep Generative Models [6.647819824559201]
本研究では,条件付き深部生成モデルの推定のための可能性に基づくアプローチの大規模サンプル特性について検討する。その結果,条件分布を推定するための最大極大推定器の収束率を導いた。
論文参考訳（メタデータ） (2024-10-02T20:46:21Z)
Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文参考訳（メタデータ） (2024-06-06T17:59:09Z)
An Inversion-based Measure of Memorization for Diffusion Models [37.9715620828388]
Inversion-based measure of memorization, InvMM, which search for a sensitive latent noise distribution account on the replication of a image。非条件拡散モデルとテキスト誘導拡散モデルの両方で実施された包括的実験は、InvMMが重記憶された画像を検出することを実証している。
論文参考訳（メタデータ） (2024-05-09T15:32:00Z)
Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文参考訳（メタデータ） (2024-03-03T23:15:48Z)
On the Properties and Estimation of Pointwise Mutual Information Profiles [49.877314063833296]
ポイントワイド相互情報プロファイル(ポイントワイド相互情報プロファイル、英: pointwise mutual information profile)は、与えられた確率変数のペアに対するポイントワイド相互情報の分布である。そこで我々は,モンテカルロ法を用いて分布を正確に推定できる新しい分布系 Bend と Mix Models を導入する。
論文参考訳（メタデータ） (2023-10-16T10:02:24Z)
ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文参考訳（メタデータ） (2023-04-07T15:17:48Z)
InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
論文参考訳（メタデータ） (2021-06-25T16:34:05Z)
On Memorization in Probabilistic Deep Generative Models [4.987581730476023]
深層生成モデルの最近の進歩は、様々なアプリケーション領域において印象的な結果をもたらしている。深層学習モデルが入力データの一部を記憶する可能性に触発されたため、記憶の仕組みを理解するための努力が増加している。
論文参考訳（メタデータ） (2021-06-06T19:33:04Z)
GENs: Generative Encoding Networks [4.269725092203672]
本稿では,未知のデータ分布と未知のターゲット分布を一致させるために,Jensen-Shannon分散を推定するための非パラメトリック密度法を提案し,解析する。この分析法には、サンプル量のトレーニングが低いときのより良い振舞い、証明可能な収束特性、比較的少ないパラメータ、分析的に導出できるパラメータなど、いくつかの利点がある。
論文参考訳（メタデータ） (2020-10-28T23:40:03Z)
Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
論文参考訳（メタデータ） (2020-07-29T07:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。