論文の概要: Unmasking the Secret Code: Using Canaries to Show How Masked Context Controls Memorization in SFT

• arxiv url: http://arxiv.org/abs/2610.20656v1
• Date: Tue, 13 Oct 2026 23:08:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.970986
• Title: Unmasking the Secret Code: Using Canaries to Show How Masked Context Controls Memorization in SFT
• Title（参考訳）: 秘密コードをアンマキングする:カナリアを使ってSFTにおけるマズードコンテキスト制御の記憶方法を示す
• Abstract要約: カナリア(英: Canary)または既知の秘密を含む合成訓練記録は、言語モデルがトレーニングデータから情報を公開するかどうかを評価するために広く使用されている。 本研究では,言語モデルと視覚言語モデルを用いた微調整実験を通してこの問題を考察する。
• 参考スコア（独自算出の注目度）: 19.905864777819193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Canaries, or synthetic training records containing known secrets, are widely used to assess whether language models reveal information from their training data. But how much do these measurements depend on the canaries themselves? We study this question through controlled fine-tuning experiments with language and vision-language models, spanning synthetic tasks and tasks where training improves useful performance. Whether a secret is provided in the training input strongly changes what the model learns; for example, models can reproduce a secret in the input yet fail to recall it when it is removed, even after extensive repetition during training. When training instead requires predicting the secret from the surrounding context, later recall can become reliable. Repetition alone is therefore insufficient to characterize memorization. We also find that changing when a canary appears, or which other canaries accompany it, can substantially change measured memorization without increasing that canary's repetition count. These results show that canary measurements depend on how secrets are presented during training and tested afterward. Audits should test whether their conclusions hold across these choices before extending them to other training records.
• Abstract（参考訳）: カナリア(英: Canary)または既知の秘密を含む合成訓練記録は、言語モデルがトレーニングデータから情報を公開するかどうかを評価するために広く使用されている。 しかし、これらの測定はカナリア自体に依存しているのか? 本研究では,言語モデルと視覚言語モデルを用いた微調整実験を通じて,学習が有用なパフォーマンスを向上させるための総合的なタスクとタスクにまたがる課題について検討する。 例えば、モデルでは、入力中に秘密を再現できるが、トレーニング中に広範囲の繰り返しがあったとしても、削除された時にそれを思い出すことができない。 トレーニングが周囲のコンテキストから秘密を予測する必要がある場合、後にリコールが信頼できるようになる。 したがって、繰り返しだけは記憶を特徴づけるには不十分である。 また, カナリアの出現時, あるいはそれに伴うカナリアの変化は, カナリアの反復回数を増大させることなく, 測定した記憶を著しく変化させることができることがわかった。 これらの結果から, カナリア測定は, 訓練中にどのように秘密が提示され, その後に検査されるかによって異なることがわかった。 観客は、他のトレーニング記録に拡張する前に、彼らの結論がこれらの選択にまたがるかどうかを検証する必要がある。

関連論文リスト

• Continual Memorization of Factoids in Language Models [32.37538704232502]
  近年の研究では、記憶の微調整は知識の保存に効果がないか、幻覚を悪化させる可能性があることが示されている。 モデルがファクトイドの集合を記憶し、後続のデータセットを微調整する複数の段階を通して保持しなければならない設定を導入する。 特に第2段階でファクトイドを記憶する必要がある場合, LMは忘れることに悩まされている。
  論文  参考訳（メタデータ） (2024-11-11T17:56:15Z)
• Uncovering Latent Memories: Assessing Data Leakage and Memorization Patterns in Frontier AI Models [7.50189359952191]
  本研究は,初対面後に記憶されないシーケンスをトレーニング中に「発見」できることを示す。 潜在記憶の存在は、記憶されたシーケンスがモデルの最終的なチェックポイントに隠される可能性があるため、データのプライバシの課題となる。 我々は,クロスエントロピー損失を利用した診断試験を開発し,高い精度で潜時記憶配列を明らかにする。
  論文  参考訳（メタデータ） (2024-06-20T17:56:17Z)
• Be like a Goldfish, Don't Memorize! Mitigating Memorization in Generative LLMs [68.553807705044]
  金魚の喪失と呼ばれる次の訓練目標に微妙な修正を加える。 トレーニング中、ランダムにサンプリングされたトークンのサブセットは損失計算から除外される。 これらのドロップトークンはモデルによって記憶されないため、トレーニングセットから完全なトークンの連鎖を冗長に再現することができない。
  論文  参考訳（メタデータ） (2024-06-14T17:44:22Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Preventing Verbatim Memorization in Language Models Gives a False Sense of Privacy [91.98116450958331]
  我々は、動詞の暗記の定義があまりに制限的であり、より微妙な暗記の形式を捉えることができないと論じる。 具体的には、全ての動詞の暗記を完全に防止する効率的な防御を設計し、実装する。 我々は、潜在的な代替定義について議論し、なぜ記憶の定義がニューラルネットワークモデルにとって難しいが決定的なオープンな問題であるのかを論じる。
  論文  参考訳（メタデータ） (2022-10-31T17:57:55Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。