論文の概要: Is Memorization Context-Sensitive? Prefix-Based Extraction Beyond Isolated Prefixes

• arxiv url: http://arxiv.org/abs/2610.12085v1
• Date: Thu, 08 Oct 2026 14:57:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.086094
• Title: Is Memorization Context-Sensitive? Prefix-Based Extraction Beyond Isolated Prefixes
• Title（参考訳）: メモリ化は文脈知覚的か? プリフィックスに基づく分離プレフィックスの抽出
• Abstract要約: 本研究では,文脈条件付けによって記憶が緩和されるか,あるいは抽出可能な記憶されたサンプルの集合を単に変化させるかを検討する。 その代わりに、抽出可能な記憶は、コンテキストローバストコアとコンテキストセンシティブ境界から構成される。
• 参考スコア（独自算出の注目度）: 10.270842050480914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can expose memorized training sequences under prefix-based extraction: given a prefix from a training example, the model may assign high probability to the original continuation. In deployed systems, however, prefixes are rarely evaluated in isolation. They often appear together with instructions, retrieved documents, or other task-specific context, as in retrieval-augmented generation (RAG). This motivates examining whether contextual conditioning mitigates memorization or merely changes the set of memorized samples that become extractable. We investigate this issue through paired item-level measurements of probabilistic suffix extraction. For each prefix-suffix pair, we score the target suffix under an empty prompt and under retrieved contexts of varying relevance, across three open-weight instruction-tuned models. We find that context does not simply erase memorization. Instead, extractable memorization consists of a context-robust core and a context-sensitive boundary. Many samples that are extractable without context remain extractable under the retrieved context, especially as the prefix length increases. At the same time, context mainly affects marginal samples near the extraction threshold: it suppresses some exposures, but also enables new ones that are missed by prefix-only evaluation. These findings qualify the view that RAG reduces memorization risk. Context can lower aggregate extraction by suppressing boundary cases, yet robustly extractable samples persist, and context-enabled extractability remains security-relevant.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プレフィックスベースの抽出の下で記憶されたトレーニングシーケンスを公開することができる:訓練例からプレフィックスが与えられた場合、モデルは元の継続に高い確率を割り当てる。 しかし、デプロイされたシステムでは、プレフィックスが独立して評価されることは滅多にない。 それらはしばしば、検索強化世代(RAG)のように、命令、検索された文書、その他のタスク固有のコンテキストと共に現れる。 このことは、文脈条件付けが記憶を緩和するか、単に抽出可能な記憶されたサンプルの集合を変更するかを調べる動機である。 本稿では,確率的接尾辞抽出の項目レベルのペア測定によりこの問題を考察する。 各接頭接頭接頭接頭接頭接頭接頭接頭接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接尾接 文脈は単に記憶を消去しない。 代わりに、抽出可能な記憶はコンテキストローバートコアとコンテキストセンシティブ境界から構成される。 文脈なしで抽出できる多くのサンプルは、特に接頭辞の長さが増加するにつれて、抽出可能なままである。 同時に、コンテキストは抽出しきい値付近の限界サンプルに主に影響し、いくつかの露出を抑えるが、プレフィックスのみの評価で見逃される新しいサンプルを可能にする。 これらの知見は、RAGが記憶リスクを減少させるという見解を立証する。 コンテキストは境界ケースを抑えることで集約抽出を低下させるが、堅牢に抽出可能なサンプルは持続し、コンテキスト対応の抽出性はセキュリティ関連である。

関連論文リスト

• Controlled Decoding Attacks on Black-Box LLMs [68.46062477706256]
  Methodは、繰り返しサンプリングとアシスタント-継続を可能にする、テキストのみの継続インターフェイスを通じてジェイルブレイクを行うためのフレームワークである。 Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、配布の再構築と修正をいつ行うかを決定する。 Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
  論文  参考訳（メタデータ） (2026-09-29T07:58:49Z)
• Estimating near-verbatim extraction risk in language models with decoding-constrained beam search [66.14049361268074]
  グリーディ復号法は,シーケンス間の抽出リスクの変化を見逃していることを示す。 本稿では,デコード制約されたビームサーチを導入し,近赤外抽出リスクに対する決定論的下限を導出する。
  論文  参考訳（メタデータ） (2026-03-26T01:15:16Z)
• Positional Fragility in LLMs: How Offset Effects Reshape Our Understanding of Memorization Risks [22.636913794637437]
  文脈ウィンドウの先頭から引き出された短い接頭辞が,動詞の暗記を最も強く引き起こすことを示す。 センシティブなデータをコンテキストウィンドウに深くシフトさせることは,抽出可能な記憶と変性の両方を抑制することを示す。
  論文  参考訳（メタデータ） (2025-05-19T14:28:35Z)
• Measuring memorization in language models via probabilistic extraction [29.438509661725117]
  大規模言語モデル(LLM)は、トレーニングデータを記憶する可能性がある。 発見可能な抽出は、この問題を測定する最も一般的な方法である。 確率的探索可能な抽出を導入し、追加コストなしで複数のクエリを考慮し、発見可能な抽出を緩和する。
  論文  参考訳（メタデータ） (2024-10-25T11:37:04Z)
• Dense X Retrieval: What Retrieval Granularity Should We Use? [56.90827473115201]
  しばしば見過ごされる設計選択は、コーパスが索引付けされる検索単位である。 本稿では,高密度検索のための新しい検索ユニット,命題を提案する。 実験により、提案のような細粒度単位によるコーパスのインデックス付けは、検索タスクにおける通過レベル単位を著しく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-12-11T18:57:35Z)
• MASKER: Masked Keyword Regularization for Reliable Text Classification [73.90326322794803]
  文脈に基づく予測を容易にする微調整手法であるマスク付きキーワード正規化(MASKER)を提案する。 maskerはモデルを規則化し、他の単語からキーワードを再構築し、十分な文脈なしに低信頼の予測を行う。 分類精度を低下させることなくOOD検出とクロスドメインの一般化を改善したMASKERを提案する。
  論文  参考訳（メタデータ） (2020-12-17T04:54:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。