論文の概要: An Information Bottleneck for Post-hoc Memorization Mitigation in LLMs

• arxiv url: http://arxiv.org/abs/2611.07669v1
• Date: Thu, 05 Nov 2026 08:54:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.610062
• Title: An Information Bottleneck for Post-hoc Memorization Mitigation in LLMs
• Title（参考訳）: LLMにおけるポストホック記憶化緩和のための情報基盤
• Abstract要約: 大規模言語モデル(LLM)は、著作権のあるトレーニングデータを記憶し、複製することができる。 凍結したLLMバックボーンと言語モデリングヘッドの間に非パラメトリックな変動情報ボトルネックを挿入するモジュラー・プラグ・アンド・プレイ・フレームワークを提案する。 トークン予測の前に隠れた最後の表現を圧縮することにより、提案するボトルネックは、高度に特定の記憶されたシーケンスをフィルタリングしながら、一般的な言語知識を維持することを目的としている。
• 参考スコア（独自算出の注目度）: 7.242101014224729
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have shown that large language models (LLMs) can memorize and reproduce copyrighted training data, raising serious privacy and intellectual property concerns. In this work, we investigate whether memorization can be mitigated without modifying or retraining the underlying model through an information bottleneck. We propose a modular plug-and-play framework that inserts a nonparametric variational information bottleneck (NVIB) between a frozen LLM backbone and its language modeling head. By compressing the final hidden representations before token prediction, the proposed bottleneck aims to preserve general linguistic knowledge while filtering out highly specific memorized sequences. We evaluate our approach on memorization extraction tasks involving book passages and on standard language modeling benchmarks to measure the trade-off between memorization reduction and downstream utility. Our experiments show that the NVIB layer substantially reduces extractability while maintaining competitive performance on benchmark tasks. These results suggest that adding an information bottleneck offers a practical and architecture agnostic direction for post-hoc memorization mitigation in pretrained LLMs.
• Abstract（参考訳）: 近年の研究では、大きな言語モデル(LLM)が、著作権のあるトレーニングデータを記憶し、複製できることが示されており、プライバシーと知的財産権の深刻な懸念が提起されている。 本研究では,情報ボトルネックによる基礎モデルの変更や再学習をすることなく,記憶の緩和が可能であるかを検討する。 凍結したLCMバックボーンと言語モデリングヘッドの間に非パラメトリック変動情報ボトルネック(NVIB)を挿入するモジュール式プラグアンドプレイフレームワークを提案する。 トークン予測の前に隠れた最後の表現を圧縮することにより、提案するボトルネックは、高度に特定の記憶されたシーケンスをフィルタリングしながら、一般的な言語知識を維持することを目的としている。 本論文では,本文を含む暗記抽出タスクと標準言語モデリングベンチマークを用いて,暗記削減と下流ユーティリティとのトレードオフを評価する。 実験の結果,NVIB層は,ベンチマークタスクの競合性能を維持しつつ,抽出性を大幅に低下させることがわかった。 これらの結果から,情報ボトルネックの付加は,事前学習したLLMにおける暗記後の緩和に実用的かつアーキテクチャに依存しない方向性をもたらすことが示唆された。

関連論文リスト

• LLMs Can Leak Training Data But Do They Want To? A Propensity-Aware Evaluation of Memorization in LLMs [2.475558262989392]
  本稿では,暗記評価のための固有性を考慮したフレームワークであるPropMeを紹介する。 Infini-gram上に構築された軽量なトレースパイプラインであるSimpleTraceも導入しています。 以上の結果から,暗記監査は最悪の抽出可能性と通常の漏洩確率の両方を報告すべきであることが示唆された。
  論文  参考訳（メタデータ） (2026-06-04T15:25:24Z)
• MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models [64.2820121997882]
  MIITAはメモリ駆動型推論時間適応フレームワークである。 教師付きエクスペリエンスをセマンティックアンカーを備えたコンパクトな修正指向プロトタイプとして格納し、セマンティックおよび不確実性ベースのキューを使用して推論時にそれらを検索する。 実験により、MIITAは最終性能を継続的に改善し、固定メモリの予算下での忘れを軽減している。
  論文  参考訳（メタデータ） (2026-05-20T03:03:04Z)
• LLM Unlearning on Noisy Forget Sets: A Study of Incomplete, Rewritten, and Watermarked Data [69.5099112089508]
  大規模言語モデル(LLM)は、顕著な生成能力を示すが、機密データを記憶することで倫理的およびセキュリティ上の懸念を引き起こす。 この研究は、ノイズのある忘れセットと呼ばれる、摂動的または低忠実な忘れデータの下での未学習に関する最初の研究を提示する。 コアセマンティック信号が保存されている場合、未学習は摂動に対して驚くほど堅牢である。
  論文  参考訳（メタデータ） (2025-10-10T05:10:49Z)
• Language Bottleneck Models: A Framework for Interpretable Knowledge Tracing and Beyond [55.984684518346924]
  我々は、知識追跡を逆問題として再考する: 過去の回答を説明できる最小限の自然言語要約を学習し、将来の回答を予測できる。 我々のLanguage Bottleneck Model(LBM)は、解釈可能な知識要約を書くエンコーダLLMと、その要約テキストのみを使用して生徒の反応を再構成し予測しなければならないフリーズデコーダLLMで構成されている。 合成算術ベンチマークと大規模Eediデータセットの実験により、LBMは最先端のKT法と直接LLM法の精度に匹敵する一方で、受講者軌道のオーダーを少なくすることを示した。
  論文  参考訳（メタデータ） (2025-06-20T13:21:14Z)
• Memorization or Interpolation ? Detecting LLM Memorization through Input Perturbation Analysis [8.725781605542675]
  大規模言語モデル(LLM)は,大規模なデータセットのトレーニングを通じて,優れたパフォーマンスを実現する。 LLMは、真の一般化ではなく、トレーニングデータの冗長な再現のような振る舞いを示すことができる。 本稿では, LLMにおける暗記検出のための新しい手法であるPEARLを紹介する。
  論文  参考訳（メタデータ） (2025-05-05T20:42:34Z)
• Quantifying and Analyzing Entity-level Memorization in Large Language Models [4.59914731734176]
  大規模言語モデル(LLM)は、トレーニングデータを記憶できることが証明されている。 記憶から生じるプライバシーリスクが注目されている。 実世界のシナリオに近い条件やメトリクスで記憶を定量化するための,詳細なエンティティレベルの定義を提案する。
  論文  参考訳（メタデータ） (2023-08-30T03:06:47Z)
• In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
  In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。 ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
  論文  参考訳（メタデータ） (2023-07-13T17:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。