論文の概要: TRAP: Understanding and Mitigating Privacy Memorization in Language Models

• arxiv url: http://arxiv.org/abs/2609.32293v1
• Date: Sat, 26 Sep 2026 06:36:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 18:02:52.644654
• Title: TRAP: Understanding and Mitigating Privacy Memorization in Language Models
• Title（参考訳）: TRAP:言語モデルにおけるプライバシ記憶の理解と緩和
• Abstract要約: センシティブなレコード上で言語モデルを微調整することで、それらを再現することができる。 我々は、この記憶がいつ発生し、どのスパンが敏感であるかを事前に知ることなく、それを防ぐか尋ねる。 TRAPはトークン単位のTRAに一方的なペナルティを導入し、ターゲットモデルがその参照に先んじる場合にのみ作用する。
• 参考スコア（独自算出の注目度）: 11.285834215372072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning a language model on sensitive records can leave it able to reproduce them. We ask when this memorization arises and how to prevent it without knowing in advance which spans are sensitive. Our starting point is that most memorization scores and attacks share one statistical core: whether the model assigns a token more probability than some reference would. Taking as the reference a model trained on the complementary half of the same corpus gives the Target Reference Advantage (TRA), a per-token signal that separates what a model fit to a particular record from what it learned across records, and is cheap and differentiable. We then study what drives memorization during fine-tuning: it keeps growing well past the validation minimum, is larger on small datasets and at higher learning rates, and higher when the underlying task is harder. Early stopping removes much of it, but because it is chosen by aggregate validation loss it helps least for rare, hard-to-predict spans embedded in otherwise learnable text, which is exactly what sensitive information tends to be. We therefore introduce TRAP, a one-sided penalty on tokenwise TRA that acts only where the target model pulls ahead of its reference. On student essays with annotated personal information and clinical cases with patient identifiers, TRAP brings memorization near the level of an untrained model at little utility cost, where generic regularizers barely move and differential privacy gives up most of what fine-tuning bought.
• Abstract（参考訳）: センシティブなレコード上で言語モデルを微調整することで、それらを再現することができる。 この暗記がいつ発生し、どのスパンが敏感であるかを事前に知ることなく、どのように防ぐのかを問う。 私たちの出発点は、ほとんどの記憶化スコアとアタックが1つの統計コアを共有していることです。 同じコーパスの補足部分でトレーニングされたモデルから、Target Reference Advantage(TRA)という、特定のレコードに適合するモデルと、レコード間で学習したものとを分離し、安価で差別化可能なターゲティング・リファレンス・アドバンテージ(Target Reference Advantage, TRA)が与えられる。 最小限の検証をはるかに越え、小さなデータセットと高い学習率で大きくなり、基礎となるタスクが難しい場合には、より高くなっています。 早期停止は、多くのものを削除しますが、アグリゲートバリデーションの損失によって選択されるため、非学習可能なテキストに埋め込まれた稀で、予測が難しいスパンに対して少なくとも役立ちます。 したがって、TRAPはトークン単位のTRAに一方的なペナルティを導入し、ターゲットモデルがその参照に先んじる場合にのみ作用する。 学生のエッセイに注釈付き個人情報と患者識別子を付加した臨床ケースがあり、TRAPは訓練されていないモデルのレベル近くをほとんど実用コストで記憶する。

関連論文リスト

• LLMs Can Leak Training Data But Do They Want To? A Propensity-Aware Evaluation of Memorization in LLMs [2.475558262989392]
  本稿では,暗記評価のための固有性を考慮したフレームワークであるPropMeを紹介する。 Infini-gram上に構築された軽量なトレースパイプラインであるSimpleTraceも導入しています。 以上の結果から,暗記監査は最悪の抽出可能性と通常の漏洩確率の両方を報告すべきであることが示唆された。
  論文  参考訳（メタデータ） (2026-06-04T15:25:24Z)
• Is Gradient Ascent Really Necessary? Memorize to Forget for Machine Unlearning [71.96329385684395]
  勾配上昇(GA)に代わるモデル外挿法を提案する。 言い換えると、記憶モデルから参照モデルへの外挿によって、忘れモデルが得られる。 モデル外挿法の実装はシンプルで効率的であり、トレーニング全体を通して効果的に収束し、未学習のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2026-02-06T07:11:27Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Emergent and Predictable Memorization in Large Language Models [23.567027014457775]
  メモリ化、あるいはトレーニングデータから全シーケンスを出力する大規模言語モデルの傾向は、安全に言語モデルをデプロイする上で重要な関心事である。 我々は,大規模モデルのフルトレインタイム前にどのシーケンスを記憶するかを,低速トライアルの実行時の記憶挙動を外挿することによって予測する。 モデルとデータ間のメモリ化スコアの分布に関する新たな発見を提供する。
  論文  参考訳（メタデータ） (2023-04-21T17:58:31Z)
• Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy [91.98116450958331]
  我々は、動詞の暗記の定義があまりに制限的であり、より微妙な暗記の形式を捉えることができないと論じる。 具体的には、全ての動詞の暗記を完全に防止する効率的な防御を設計し、実装する。 我々は、潜在的な代替定義について議論し、なぜ記憶の定義がニューラルネットワークモデルにとって難しいが決定的なオープンな問題であるのかを論じる。
  論文  参考訳（メタデータ） (2022-10-31T17:57:55Z)
• Quantifying Memorization Across Neural Language Models [61.58529162310382]
  大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。 これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。 本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
  論文  参考訳（メタデータ） (2022-02-15T18:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。