論文の概要: A Geometric Framework for Understanding Memorization in Generative Models

• arxiv url: http://arxiv.org/abs/2411.00113v1
• Date: Thu, 31 Oct 2024 18:09:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:44:20.518514
• Title: A Geometric Framework for Understanding Memorization in Generative Models
• Title（参考訳）: 生成モデルにおける覚書理解のための幾何学的枠組み
• Authors: Brendan Leigh Ross, Hamidreza Kamkari, Tongzi Wu, Rasa Hosseinzadeh, Zhaoyan Liu, George Stein, Jesse C. Cresswell, Gabriel Loaiza-Ganem,
• Abstract要約: 近年の研究では、深層生成モデルにより、デプロイ時にトレーニングデータポイントを記憶・再生することが可能であることが示されている。 これらの知見は、特に暗記によって引き起こされる法的およびプライバシー上のリスクを考慮して、生成モデルのユーザビリティを疑問視する。 本稿では, 多様体の暗記仮説(MMH)を, 暗記を推論する明快な言語として活用する幾何学的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 11.263296715798374
• License:
• Abstract: As deep generative models have progressed, recent work has shown them to be capable of memorizing and reproducing training datapoints when deployed. These findings call into question the usability of generative models, especially in light of the legal and privacy risks brought about by memorization. To better understand this phenomenon, we propose the manifold memorization hypothesis (MMH), a geometric framework which leverages the manifold hypothesis into a clear language in which to reason about memorization. We propose to analyze memorization in terms of the relationship between the dimensionalities of $(i)$ the ground truth data manifold and $(ii)$ the manifold learned by the model. This framework provides a formal standard for "how memorized" a datapoint is and systematically categorizes memorized data into two types: memorization driven by overfitting and memorization driven by the underlying data distribution. By analyzing prior work in the context of the MMH, we explain and unify assorted observations in the literature. We empirically validate the MMH using synthetic data and image datasets up to the scale of Stable Diffusion, developing new tools for detecting and preventing generation of memorized samples in the process.
• Abstract（参考訳）: 深層生成モデルが進むにつれて、最近の研究は、デプロイ時にトレーニングデータポイントを記憶し、再現できることを示した。 これらの知見は、特に暗記によって引き起こされる法的およびプライバシー上のリスクを考慮して、生成モデルのユーザビリティを疑問視する。 この現象をよりよく理解するために,多様体記憶仮説(MMH)を提案する。 我々は,$の次元間の関係から記憶の分析を提案する。 (i)$ the ground truth data manifold and $ (ii)モデルによって学習された多様体。 このフレームワークは、データポイントがいかに「記憶されているか」という形式的な標準を提供し、記憶されたデータを2つのタイプに分類する。 MMHの文脈における先行研究を解析することにより,文献における分類された観察を説明・統一する。 我々は,合成データと画像データセットを用いて,安定拡散の規模までMMHを実証的に検証し,その過程で記憶されたサンプルを検出・防止する新しいツールを開発した。

関連論文リスト

• Undesirable Memorization in Large Language Models: A Survey [5.659933808910005]
  大規模言語モデル(LLM)における記憶の話題に関する知識体系化(SoK)を提案する。 記憶とは、モデルがトレーニングデータからフレーズやフレーズを保存し、再生する傾向があることである。 本研究は,記憶現象に寄与する要因の解析に続き,記憶現象を測定するために用いられる指標と方法について議論する。
  論文  参考訳（メタデータ） (2024-10-03T16:34:46Z)
• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• Extracting Training Data from Unconditional Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(AI)の主流モデルとして採用されている。 本研究の目的は,1) 理論解析のための記憶量,2) 情報ラベルとランダムラベルを用いた条件記憶量,3) 記憶量測定のための2つのより良い評価指標を用いて,DPMにおける記憶量の理論的理解を確立することである。 提案手法は,理論解析に基づいて,SIDE (textbfSurrogate condItional Data extract) と呼ばれる新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:20:12Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• A Multi-Perspective Analysis of Memorization in Large Language Models [10.276594755936529]
  大規模言語モデル(LLM)は様々な分野で前例のない性能を示す。 LLMはそれらをトレーニングするのと同じコンテンツを生成することができる。 この研究は、様々な観点から記憶を包括的に議論した。
  論文  参考訳（メタデータ） (2024-05-19T15:00:50Z)
• Data-Copying in Generative Models: A Formal Framework [34.84064423819405]
  データコピー(data-copying)と呼ばれる生成モデルの記憶のための形式的な枠組みがMeehanらによって提案された。 我々は、それらのフレームワークが特定の種類のブラタント記憶の検出に失敗する可能性があることを示すために、彼らの作業の上に構築する。 本研究では,データコピーを検出する手法を提案し,十分なデータが得られれば高い確率で動作することを示す。
  論文  参考訳（メタデータ） (2023-02-25T22:31:01Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Quantifying Memorization Across Neural Language Models [61.58529162310382]
  大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。 これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。 本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
  論文  参考訳（メタデータ） (2022-02-15T18:48:31Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)
• On Memorization in Probabilistic Deep Generative Models [4.987581730476023]
  深層生成モデルの最近の進歩は、様々なアプリケーション領域において印象的な結果をもたらしている。 深層学習モデルが入力データの一部を記憶する可能性に触発されたため、記憶の仕組みを理解するための努力が増加している。
  論文  参考訳（メタデータ） (2021-06-06T19:33:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。