Fugu-MT 論文翻訳(概要): Understanding Memorization in Generative Models via Sharpness in Probability Landscapes

論文の概要: Understanding Memorization in Generative Models via Sharpness in Probability Landscapes

arxiv url: http://arxiv.org/abs/2412.04140v1
Date: Thu, 05 Dec 2024 13:07:24 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-06 20:43:02.062339
Title: Understanding Memorization in Generative Models via Sharpness in Probability Landscapes
Title（参考訳）: 確率景観におけるシャープネスによる生成モデルの記憶の理解
Authors: Dongjae Jeon, Dueun Kim, Albert No,
Abstract要約: 対数確率密度のHessianの固有値を用いて拡散モデルのメモリ化を解析する。提案手法は,拡散モデルにおける記憶の明確な理解を提供し,セキュアで信頼性の高い生成モデルを実現するための戦略開発の基礎となる。
参考スコア（独自算出の注目度）: 5.116399056871577
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we introduce a geometric framework to analyze memorization in diffusion models using the eigenvalues of the Hessian of the log probability density. We propose that memorization arises from isolated points in the learned probability distribution, characterized by sharpness in the probability landscape, as indicated by large negative eigenvalues of the Hessian. Through experiments on various datasets, we demonstrate that these eigenvalues effectively detect and quantify memorization. Our approach provides a clear understanding of memorization in diffusion models and lays the groundwork for developing strategies to ensure secure and reliable generative models
Abstract（参考訳）: 本稿では,ログ確率密度のHessianの固有値を用いて拡散モデルのメモリ化を解析するための幾何学的枠組みを提案する。本稿では, 確率分布の急激さを特徴とする学習確率分布の孤立点から, 暗記が生じることをヘッセンの負の固有値の大きな値として提案する。様々なデータセットの実験を通して,これらの固有値がメモリ化を効果的に検出し,定量化することを示した。我々のアプローチは拡散モデルにおける記憶の明確な理解を提供し、安全で信頼性の高い生成モデルを確保するための戦略開発の基礎となる。

関連論文リスト

Ideas in Inference-time Scaling can Benefit Generative Pre-training Algorithms [35.74919627230777]
推論ファーストの視点は、新しい生成事前学習アルゴリズムに刺激を与えることができると論じる。本研究では,拡散モデルの予測過程における目標修正による制限への対処が,安定な単一段階アルゴリズムを実現する方法を示す。
論文参考訳（メタデータ） (2025-03-10T10:27:30Z)
One-for-More: Continual Diffusion Model for Anomaly Detection [61.12622458367425]
異常検出法は拡散モデルを用いて任意の異常画像が与えられたときの正常サンプルの生成または再構成を行う。われわれは,拡散モデルが「重度忠実幻覚」と「破滅的な忘れ」に悩まされていることを発見した。本研究では,安定な連続学習を実現するために勾配予測を用いた連続拡散モデルを提案する。
論文参考訳（メタデータ） (2025-02-27T07:47:27Z)
Generative Edge Detection with Stable Diffusion [52.870631376660924]
エッジ検出は一般的に、主に識別法によって対処されるピクセルレベルの分類問題と見なされる。本稿では、事前学習した安定拡散モデルのポテンシャルを十分に活用して、GED(Generative Edge Detector)という新しい手法を提案する。複数のデータセットに対して広範な実験を行い、競争性能を達成する。
論文参考訳（メタデータ） (2024-10-04T01:52:23Z)
Detecting, Explaining, and Mitigating Memorization in Diffusion Models [49.438362005962375]
そこで本研究では,テキスト条件予測の大きさを検査することで,暗黙のプロンプトを検出する方法を提案する。提案手法はサンプリングアルゴリズムを中断することなくシームレスに統合し,第1世代でも高い精度を実現する。検出戦略に基づいて,個々の単語やトークンの記憶への寄与を示す説明可能なアプローチを提示する。
論文参考訳（メタデータ） (2024-07-31T16:13:29Z)
Iterative Ensemble Training with Anti-Gradient Control for Mitigating Memorization in Diffusion Models [20.550324116099357]
拡散モデルは、新規で高品質なサンプルを生成できることで知られている。最近のメモリ緩和手法は、クロスモーダル生成タスクにおけるテキストモダリティ問題にのみ焦点をあてるか、あるいはデータ拡張戦略を利用するかのどちらかである。本稿では,視覚的モダリティの観点からの拡散モデルのための新しいトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-22T02:19:30Z)
Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文参考訳（メタデータ） (2024-06-06T17:59:09Z)
An Inversion-based Measure of Memorization for Diffusion Models [37.9715620828388]
Inversion-based measure of memorization, InvMM, which search for a sensitive latent noise distribution account on the replication of a image。非条件拡散モデルとテキスト誘導拡散モデルの両方で実施された包括的実験は、InvMMが重記憶された画像を検出することを実証している。
論文参考訳（メタデータ） (2024-05-09T15:32:00Z)
Unveiling and Mitigating Memorization in Text-to-image Diffusion Models through Cross Attention [62.671435607043875]
研究は、テキストから画像への拡散モデルがトレーニングデータから画像を複製し、著作権侵害やプライバシーのリスクに対する大きな懸念を引き起こすことを示唆している。暗記中、クロスアテンションは特定のトークンの埋め込みに不均等に集中する傾向にあることが明らかとなった。拡散モデルにおける記憶の検出と緩和のための革新的なアプローチを導入する。
論文参考訳（メタデータ） (2024-03-17T01:27:00Z)
Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文参考訳（メタデータ） (2024-03-03T23:15:48Z)
On the Properties and Estimation of Pointwise Mutual Information Profiles [49.877314063833296]
ポイントワイド相互情報プロファイル(ポイントワイド相互情報プロファイル、英: pointwise mutual information profile)は、与えられた確率変数のペアに対するポイントワイド相互情報の分布である。そこで我々は,モンテカルロ法を用いて分布を正確に推定できる新しい分布系 Bend と Mix Models を導入する。
論文参考訳（メタデータ） (2023-10-16T10:02:24Z)
Kernel Density Matrices for Probabilistic Deep Learning [8.486487001779416]
量子力学において、密度行列は量子系の状態を記述する最も一般的な方法である。本稿では,確率的深層学習,カーネル密度行列に対する新しいアプローチを提案する。これは連続確率変数と離散確率変数の両方の結合確率分布を表現するためのより単純で効果的なメカニズムを提供する。
論文参考訳（メタデータ） (2023-05-26T12:59:58Z)
Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
論文参考訳（メタデータ） (2023-05-11T17:55:25Z)
ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文参考訳（メタデータ） (2023-04-07T15:17:48Z)
On Memorization in Probabilistic Deep Generative Models [4.987581730476023]
深層生成モデルの最近の進歩は、様々なアプリケーション領域において印象的な結果をもたらしている。深層学習モデルが入力データの一部を記憶する可能性に触発されたため、記憶の仕組みを理解するための努力が増加している。
論文参考訳（メタデータ） (2021-06-06T19:33:04Z)
Learning with Density Matrices and Random Features [44.98964870180375]
密度行列は、量子系の統計状態を記述する。量子系の量子的不確実性と古典的不確実性の両方を表現することは強力な形式主義である。本稿では,機械学習モデルのビルディングブロックとして密度行列をどのように利用できるかを検討する。
論文参考訳（メタデータ） (2021-02-08T17:54:59Z)
GENs: Generative Encoding Networks [4.269725092203672]
本稿では,未知のデータ分布と未知のターゲット分布を一致させるために,Jensen-Shannon分散を推定するための非パラメトリック密度法を提案し,解析する。この分析法には、サンプル量のトレーニングが低いときのより良い振舞い、証明可能な収束特性、比較的少ないパラメータ、分析的に導出できるパラメータなど、いくつかの利点がある。
論文参考訳（メタデータ） (2020-10-28T23:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。