論文の概要: Measuring Forgetting of Memorized Training Examples

• arxiv url: http://arxiv.org/abs/2207.00099v1
• Date: Thu, 30 Jun 2022 20:48:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-04 13:46:37.637469
• Title: Measuring Forgetting of Memorized Training Examples
• Title（参考訳）: 記憶した訓練事例の収集計測
• Authors: Matthew Jagielski, Om Thakkar, Florian Tram\`er, Daphne Ippolito, Katherine Lee, Nicholas Carlini, Eric Wallace, Shuang Song, Abhradeep Thakurta, Nicolas Papernot, Chiyuan Zhang
• Abstract要約: 機械学習モデルは、トレーニングデータと様々な形態の記憶という、一見矛盾する2つの現象を示す。 記憶化においては、モデルは特定のトレーニングに過度に適合し、プライバシ攻撃の影響を受けやすい。 トレーニングの初期に見られる例は、最終的にはプライバシ攻撃の影響を受けやすい。
• 参考スコア（独自算出の注目度）: 80.9188503645436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models exhibit two seemingly contradictory phenomena: training data memorization and various forms of forgetting. In memorization, models overfit specific training examples and become susceptible to privacy attacks. In forgetting, examples which appeared early in training are forgotten by the end. In this work, we connect these phenomena. We propose a technique to measure to what extent models ``forget'' the specifics of training examples, becoming less susceptible to privacy attacks on examples they have not seen recently. We show that, while non-convexity can prevent forgetting from happening in the worst-case, standard image and speech models empirically do forget examples over time. We identify nondeterminism as a potential explanation, showing that deterministically trained models do not forget. Our results suggest that examples seen early when training with extremely large datasets -- for instance those examples used to pre-train a model -- may observe privacy benefits at the expense of examples seen later.
• Abstract（参考訳）: 機械学習モデルは、トレーニングデータの記憶と、様々な形の忘れの2つの一見矛盾する現象を示す。 記憶では、モデルは特定のトレーニング例に過度に適合し、プライバシ攻撃の影響を受けやすい。 忘れでは、トレーニングの初期に現れた例が最後に忘れ去られる。 この研究では、これらの現象をつなげます。 トレーニング例の具体例である ‘forget’ の程度を測る手法を提案し,最近は見ていない例に対するプライバシ攻撃の影響を小さくする。 非凸性は最悪の場合に忘れられることを防げるが、標準画像と音声モデルは時間とともに例を経験的に忘れてしまう。 非決定論を潜在的な説明として認識し、決定論的に訓練されたモデルは忘れないことを示す。 私たちの結果は、非常に大きなデータセット(例えば、モデルの事前トレーニングに使用される例)でトレーニングした初期の例が、後に見られる例を犠牲にして、プライバシのメリットを享受できることを示唆している。

関連論文リスト

• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• Inexact Unlearning Needs More Careful Evaluations to Avoid a False Sense of Privacy [45.413801663923564]
  会員推論攻撃(MIA)の未学習環境への適応について論じる。 未学習文学において一般的に用いられるU-MIAは、既存の未学習技術が視覚モデルと言語モデルの両方で持つプライバシー保護を過大評価していることを示す。
  論文  参考訳（メタデータ） (2024-03-02T14:22:40Z)
• What Will My Model Forget? Forecasting Forgotten Examples in Language Model Refinement [38.93348195407474]
  ワイルドにデプロイされた言語モデルはエラーを起こします。 修正されたエラーインスタンスでモデルを更新することは、破滅的な忘れを引き起こす。 本稿では,事前学習例のソフトマックス前のロジットスコアの変化がオンライン学習例に類似しているという観察に基づいて,部分的に解釈可能な予測モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-02T19:43:15Z)
• Unintended Memorization in Large ASR Models, and How to Mitigate It [16.047859326721046]
  大規模非回帰型自動音声認識(ASR)モデルにおける記憶の監査は困難である。 計算オーバーヘッドを余分に必要とせずに,大規模ASRモデルの記憶量を測定するための簡易な監査手法を設計する。 大規模分散トレーニングでは、各計算コアの平均勾配をクリップすることで、中立的なモデル品質と計算コストが維持されることを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:45:49Z)
• What do larger image classifiers memorise? [64.01325988398838]
  トレーニング例は, モデルサイズにまたがって, 予想外の多彩な記憶軌跡を示す。 有効で一般的なモデル圧縮手法である知識蒸留は,記憶を阻害する傾向があり,一般化も改善する。
  論文  参考訳（メタデータ） (2023-10-09T01:52:07Z)
• Recognition, recall, and retention of few-shot memories in large language models [21.067139116005592]
  本研究では,大規模言語モデルを用いた単純な認識,リコール,保持実験について検討する。 単一の露光は、モデルがほぼ完全な精度を達成するのに一般的に十分であることがわかった。 高速学習におけるこの驚くべき能力の対極は、正確な記憶がすぐに上書きされることです。
  論文  参考訳（メタデータ） (2023-03-30T17:26:16Z)
• Characterizing Datapoints via Second-Split Forgetting [93.99363547536392]
  我々は、オリジナルのトレーニング例が忘れられた後(もしあれば)のエポックを追跡する補足的メトリックである$$-second-$split$$forgetting$$$time$ (SSFT)を提案する。 例えば$mislabeled$の例はすぐに忘れられ、$rare$の例は比較的ゆっくりと忘れられています。 SSFTは、(i)間違ったラベル付きサンプルを識別し、その除去により一般化が向上し、(ii)障害モードに関する洞察を提供する。
  論文  参考訳（メタデータ） (2022-10-26T21:03:46Z)
• Extracting Training Data from Large Language Models [78.3839333127544]
  本論文では,言語モデルに問い合わせることで,学習データ抽出攻撃を実行して個々のトレーニング例を回復できることを実証する。 我々は,公開インターネットのスクレイプ上で訓練された言語モデルgpt-2に対する攻撃を実証し,モデルのトレーニングデータから数百の動詞のテキストシーケンスを抽出することができることを示した。
  論文  参考訳（メタデータ） (2020-12-14T18:39:09Z)
• Robust and On-the-fly Dataset Denoising for Image Classification [72.10311040730815]
  On-the-fly Data Denoising (ODD)は、間違ったラベルの例に対して堅牢だが、通常のトレーニングと比べて計算オーバーヘッドはほぼゼロである。 ODDはWebVisionやClothing1Mといった現実世界のデータセットを含む、幅広いデータセットで最先端の結果を達成することができる。
  論文  参考訳（メタデータ） (2020-03-24T03:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。