論文の概要: Finding NeMo: Localizing Neurons Responsible For Memorization in Diffusion Models

• arxiv url: http://arxiv.org/abs/2406.02366v2
• Date: Mon, 28 Oct 2024 08:27:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:16:54.593868
• Title: Finding NeMo: Localizing Neurons Responsible For Memorization in Diffusion Models
• Title（参考訳）: NeMoの発見:拡散モデルにおける記憶に応答する神経細胞の局在化
• Authors: Dominik Hintersdorf, Lukas Struppek, Kristian Kersting, Adam Dziedzic, Franziska Boenisch,
• Abstract要約: DMのクロスアテンション層において,個々のデータサンプルの記憶をニューロンのレベルまでローカライズする最初の方法であるNeMoを導入する。 これらの記憶ニューロンを非活性化することにより、推論時のトレーニングデータの複製を回避し、生成した出力の多様性を高め、プライベートおよび著作権データの漏洩を軽減することができる。
• 参考スコア（独自算出の注目度）: 28.045192675880696
• License:
• Abstract: Diffusion models (DMs) produce very detailed and high-quality images. Their power results from extensive training on large amounts of data, usually scraped from the internet without proper attribution or consent from content creators. Unfortunately, this practice raises privacy and intellectual property concerns, as DMs can memorize and later reproduce their potentially sensitive or copyrighted training images at inference time. Prior efforts prevent this issue by either changing the input to the diffusion process, thereby preventing the DM from generating memorized samples during inference, or removing the memorized data from training altogether. While those are viable solutions when the DM is developed and deployed in a secure and constantly monitored environment, they hold the risk of adversaries circumventing the safeguards and are not effective when the DM itself is publicly released. To solve the problem, we introduce NeMo, the first method to localize memorization of individual data samples down to the level of neurons in DMs' cross-attention layers. Through our experiments, we make the intriguing finding that in many cases, single neurons are responsible for memorizing particular training samples. By deactivating these memorization neurons, we can avoid the replication of training data at inference time, increase the diversity in the generated outputs, and mitigate the leakage of private and copyrighted data. In this way, our NeMo contributes to a more responsible deployment of DMs.
• Abstract（参考訳）: 拡散モデル(DM)は非常に詳細で高品質な画像を生成する。 彼らのパワーは、大量のデータを広範囲にトレーニングすることによるものであり、通常はコンテンツ制作者からの適切な帰属や同意なしに、インターネットから取り除かれる。 残念ながら、このプラクティスはプライバシーと知的財産権の懸念を高め、DMは推論時に潜在的に機密性のある、あるいは著作権のあるトレーニングイメージを記憶し、後に再生することができる。 従来の取り組みでは、拡散プロセスへの入力を変更して、DMが推論中に記憶されたサンプルを生成するのを防いだり、記憶されたデータを完全にトレーニングから取り除いたりすることで、この問題を防止する。 DMが開発され、常に監視された環境に展開される場合、これらは有効な解決策であるが、安全対策を回避する敵のリスクを保持し、DM自体が公開されても効果がない。 この問題を解決するために,我々は,個々のデータサンプルの記憶を,DMのクロスアテンション層におけるニューロンのレベルまでローカライズする最初の方法であるNeMoを紹介する。 実験を通して、多くの場合において、単一ニューロンが特定のトレーニングサンプルを記憶する役割を担っていることを興味深いものにしています。 これらの記憶ニューロンを非活性化することにより、推論時のトレーニングデータの複製を回避し、生成した出力の多様性を高め、プライベートおよび著作権データの漏洩を軽減することができる。 このように、NeMoはDMのより責任ある展開に貢献します。

関連論文リスト

• Investigating Memorization in Video Diffusion Models [58.70363256771246]
  画像生成やビデオ生成に広く用いられている拡散モデルは、推論中にトレーニングデータを記憶し再生するリスクという、重大な制限に直面している。 まず,VDM(Content memorization and Motion memorization)の2種類の記憶を現実的に定義する。 次に、VDMにおけるコンテンツと動きの記憶を別々に評価するために特別に設計された新しい指標を導入する。
  論文  参考訳（メタデータ） (2024-10-29T02:34:06Z)
• Slight Corruption in Pre-training Data Makes Better Diffusion Models [71.90034201302397]
  拡散モデル(DM)は、高品質な画像、オーディオ、ビデオを生成する際、顕著な能力を示している。 DMは大規模なデータセットでの広範な事前トレーニングの恩恵を受ける。 しかしながら、事前トレーニングデータセットは、しばしば、データを正確に記述しないような、破損したペアを含んでいる。 本稿では,DMの事前学習データにそのような汚職が及ぼす影響について,初めて包括的研究を行った。
  論文  参考訳（メタデータ） (2024-05-30T21:35:48Z)
• From Trojan Horses to Castle Walls: Unveiling Bilateral Data Poisoning Effects in Diffusion Models [19.140908259968302]
  我々は、BadNetsのようなデータ中毒法がDMによって直接的に生成を劣化させるかどうか検討する。 BadNetsのようなデータ中毒攻撃は、DMが誤画像を生成するのに依然として有効であることを示す。 被毒DMはトリガーの割合が増加しており、これはトリガー増幅と呼ばれる現象である」
  論文  参考訳（メタデータ） (2023-11-04T11:00:31Z)
• DEPN: Detecting and Editing Privacy Neurons in Pretrained Language Models [46.04803661300974]
  大量のデータに基づいて事前訓練された大規模な言語モデルは、トレーニングデータ内の豊富な知識と情報をキャプチャする。 事前訓練された言語モデルにおけるデータ記憶と復活の能力は、以前の研究で明らかになったように、データ漏洩のリスクをもたらす。 本稿では,事前学習言語モデルにおけるプライバシニューロンの検出と編集のためのフレームワークDEPNを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:09:36Z)
• To Generate or Not? Safety-Driven Unlearned Diffusion Models Are Still Easy To Generate Unsafe Images ... For Now [22.75295925610285]
  拡散モデル(DM)は、現実的で複雑な画像の生成に革命をもたらした。 DMはまた、有害なコンテンツの生成やデータ著作権の侵害など、潜在的な安全上の危険性も導入している。 安全駆動の未学習技術の発展にもかかわらず、その有効性に対する疑念は続いている。
  論文  参考訳（メタデータ） (2023-10-18T10:36:34Z)
• VillanDiffusion: A Unified Backdoor Attack Framework for Diffusion Models [69.20464255450788]
  拡散モデル(英: Diffusion Models, DM)は、可逆的ノイズ付加から可逆的腐敗過程を学習し、雑音を除去する手法である。 最近の研究では、基本的な無条件DMがバックドア注入に弱いことが示されている。 本稿では,DMのバックドア分析の現在の範囲を広げるために,統合されたバックドア攻撃フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-12T05:14:13Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Membership Inference Attacks on Deep Regression Models for Neuroimaging [15.591129844038269]
  我々は,3次元ニューロイメージングタスクのための訓練された深層学習モデルに対するリアルなメンバーシップ推論攻撃と,分散化されたセットアップを示す。 モデルの複雑性やセキュリティの仮定によって,MRIスキャンが60%から80%以上の成功率でモデルトレーニングに使用されたかどうかを正確に確認した。
  論文  参考訳（メタデータ） (2021-05-06T17:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。