Fugu-MT 論文翻訳(概要): Understanding Memorization in Generative Models via Sharpness in Probability Landscapes

論文の概要: Understanding Memorization in Generative Models via Sharpness in Probability Landscapes

arxiv url: http://arxiv.org/abs/2412.04140v3
Date: Fri, 06 Jun 2025 03:19:07 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-09 17:28:42.734745
Title: Understanding Memorization in Generative Models via Sharpness in Probability Landscapes
Title（参考訳）: 確率景観におけるシャープネスによる生成モデルの記憶の理解
Authors: Dongjae Jeon, Dueun Kim, Albert No,
Abstract要約: 本稿では,ログ確率密度のシャープネスを用いて拡散モデルの記憶度を解析するための幾何学的枠組みを提案する。本稿では,潜時拡散モデルにおける画像生成の初期段階におけるシャープネスを定量化する手法を提案する。
参考スコア（独自算出の注目度）: 5.116399056871577
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we introduce a geometric framework to analyze memorization in diffusion models through the sharpness of the log probability density. We mathematically justify a previously proposed score-difference-based memorization metric by demonstrating its effectiveness in quantifying sharpness. Additionally, we propose a novel memorization metric that captures sharpness at the initial stage of image generation in latent diffusion models, offering early insights into potential memorization. Leveraging this metric, we develop a mitigation strategy that optimizes the initial noise of the generation process using a sharpness-aware regularization term.
Abstract（参考訳）: 本稿では,対数確率密度のシャープネスによって拡散モデルの記憶を解析するための幾何学的枠組みを提案する。シャープネスの定量化に有効であることを示すことによって,従来提案されていたスコア差に基づく記憶度を数学的に正当化する。さらに,潜時拡散モデルにおける画像生成の初期段階におけるシャープネスを捉え,潜在的な記憶の早期洞察を提供する新しい記憶度指標を提案する。この指標を活用することで、シャープネスを意識した正規化項を用いて生成プロセスの初期ノイズを最適化する緩和戦略を開発する。

関連論文リスト

Ideas in Inference-time Scaling can Benefit Generative Pre-training Algorithms [35.74919627230777]
推論ファーストの視点は、新しい生成事前学習アルゴリズムに刺激を与えることができると論じる。本研究では,拡散モデルの予測過程における目標修正による制限への対処が,安定な単一段階アルゴリズムを実現する方法を示す。
論文参考訳（メタデータ） (2025-03-10T10:27:30Z)
One-for-More: Continual Diffusion Model for Anomaly Detection [61.12622458367425]
異常検出法は拡散モデルを用いて任意の異常画像が与えられたときの正常サンプルの生成または再構成を行う。われわれは,拡散モデルが「重度忠実幻覚」と「破滅的な忘れ」に悩まされていることを発見した。本研究では,安定な連続学習を実現するために勾配予測を用いた連続拡散モデルを提案する。
論文参考訳（メタデータ） (2025-02-27T07:47:27Z)
Generative Edge Detection with Stable Diffusion [52.870631376660924]
エッジ検出は一般的に、主に識別法によって対処されるピクセルレベルの分類問題と見なされる。本稿では、事前学習した安定拡散モデルのポテンシャルを十分に活用して、GED(Generative Edge Detector)という新しい手法を提案する。複数のデータセットに対して広範な実験を行い、競争性能を達成する。
論文参考訳（メタデータ） (2024-10-04T01:52:23Z)
Detecting, Explaining, and Mitigating Memorization in Diffusion Models [49.438362005962375]
そこで本研究では,テキスト条件予測の大きさを検査することで,暗黙のプロンプトを検出する方法を提案する。提案手法はサンプリングアルゴリズムを中断することなくシームレスに統合し,第1世代でも高い精度を実現する。検出戦略に基づいて,個々の単語やトークンの記憶への寄与を示す説明可能なアプローチを提示する。
論文参考訳（メタデータ） (2024-07-31T16:13:29Z)
Iterative Ensemble Training with Anti-Gradient Control for Mitigating Memorization in Diffusion Models [20.550324116099357]
拡散モデルは、新規で高品質なサンプルを生成できることで知られている。最近のメモリ緩和手法は、クロスモーダル生成タスクにおけるテキストモダリティ問題にのみ焦点をあてるか、あるいはデータ拡張戦略を利用するかのどちらかである。本稿では,視覚的モダリティの観点からの拡散モデルのための新しいトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-22T02:19:30Z)
Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文参考訳（メタデータ） (2024-06-06T17:59:09Z)
An Inversion-based Measure of Memorization for Diffusion Models [37.9715620828388]
Inversion-based measure of memorization, InvMM, which search for a sensitive latent noise distribution account on the replication of a image。非条件拡散モデルとテキスト誘導拡散モデルの両方で実施された包括的実験は、InvMMが重記憶された画像を検出することを実証している。
論文参考訳（メタデータ） (2024-05-09T15:32:00Z)
Unveiling and Mitigating Memorization in Text-to-image Diffusion Models through Cross Attention [62.671435607043875]
研究は、テキストから画像への拡散モデルがトレーニングデータから画像を複製し、著作権侵害やプライバシーのリスクに対する大きな懸念を引き起こすことを示唆している。暗記中、クロスアテンションは特定のトークンの埋め込みに不均等に集中する傾向にあることが明らかとなった。拡散モデルにおける記憶の検出と緩和のための革新的なアプローチを導入する。
論文参考訳（メタデータ） (2024-03-17T01:27:00Z)
Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文参考訳（メタデータ） (2024-03-03T23:15:48Z)
On the Properties and Estimation of Pointwise Mutual Information Profiles [49.877314063833296]
ポイントワイド相互情報プロファイル(ポイントワイド相互情報プロファイル、英: pointwise mutual information profile)は、与えられた確率変数のペアに対するポイントワイド相互情報の分布である。そこで我々は,モンテカルロ法を用いて分布を正確に推定できる新しい分布系 Bend と Mix Models を導入する。
論文参考訳（メタデータ） (2023-10-16T10:02:24Z)
Kernel Density Matrices for Probabilistic Deep Learning [8.486487001779416]
量子力学において、密度行列は量子系の状態を記述する最も一般的な方法である。本稿では,確率的深層学習,カーネル密度行列に対する新しいアプローチを提案する。これは連続確率変数と離散確率変数の両方の結合確率分布を表現するためのより単純で効果的なメカニズムを提供する。
論文参考訳（メタデータ） (2023-05-26T12:59:58Z)
Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
論文参考訳（メタデータ） (2023-05-11T17:55:25Z)
ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文参考訳（メタデータ） (2023-04-07T15:17:48Z)
On Memorization in Probabilistic Deep Generative Models [4.987581730476023]
深層生成モデルの最近の進歩は、様々なアプリケーション領域において印象的な結果をもたらしている。深層学習モデルが入力データの一部を記憶する可能性に触発されたため、記憶の仕組みを理解するための努力が増加している。
論文参考訳（メタデータ） (2021-06-06T19:33:04Z)
Learning with Density Matrices and Random Features [44.98964870180375]
密度行列は、量子系の統計状態を記述する。量子系の量子的不確実性と古典的不確実性の両方を表現することは強力な形式主義である。本稿では,機械学習モデルのビルディングブロックとして密度行列をどのように利用できるかを検討する。
論文参考訳（メタデータ） (2021-02-08T17:54:59Z)
GENs: Generative Encoding Networks [4.269725092203672]
本稿では,未知のデータ分布と未知のターゲット分布を一致させるために,Jensen-Shannon分散を推定するための非パラメトリック密度法を提案し,解析する。この分析法には、サンプル量のトレーニングが低いときのより良い振舞い、証明可能な収束特性、比較的少ないパラメータ、分析的に導出できるパラメータなど、いくつかの利点がある。
論文参考訳（メタデータ） (2020-10-28T23:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。