論文の概要: Reinforcement Learning on Benign Facts Amplifies Leakage of Memorized Private Data

• arxiv url: http://arxiv.org/abs/2608.21727v3
• Date: Sun, 30 Aug 2026 03:20:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 13:34:07.441454
• Title: Reinforcement Learning on Benign Facts Amplifies Leakage of Memorized Private Data
• Title（参考訳）: 有限要素の強化学習は記憶されたプライベートデータの漏洩を増幅する
• Abstract要約: 検証可能な報酬付き強化学習(RLVR)は、推論タスクにおいてモデルをより良くするためにデプロイされる。 事実に基づくRLVRは、インストラクションモデルがすでに記憶していた個人識別情報(PII)の抽出を増大させることを示す。
• 参考スコア（独自算出の注目度）: 8.344653489750817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) is deployed to make models better at reasoning tasks, but its side effect on what models will divulge is under studied. Here we show that RLVR on facts increases extraction of personally identifiable information (PII) the instruct model had already memorized. We first confirm that instruct models have already memorized PII but leave them latent, rarely surfacing one when asked. We then apply RL on benign factual data that contains no PII of any kind, and re-probe: a targeted probe over name->email pairs, and an untargeted free-recall prompt that simply asks the model to list the addresses it knows. PII extraction rises sharply under both: on DeepSeek-V3.1, verbatim recall@k increases from 0.155 to 0.370, a 2.4x gain. The effect scales with model size: across three models spanning 8B to 671B parameters, absolute leakage is largest in the biggest model. Meanwhile model's reasoning abilities and refusal rates are retained, indicating that RL selectively changes which memorized information is accessible rather than broadly altering the model. In summary, memorized private data can be made markedly more extractable by training that never touches it. This gives an adversary a route to memorized data that requires no privacy-relevant training signal and no access to the data itself -- only the ability to fine-tune on something innocuous.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、推論タスクにおいてモデルをより良くするためにデプロイされるが、その副作用は、どのモデルを希釈するか研究中である。 ここでは、実写におけるRLVRは、インストラクションモデルがすでに記憶していた個人識別情報(PII)の抽出を増加させていることを示す。 インストラクションモデルがすでにPIIを記憶していることを最初に確認した。 次に、任意の種類のPIIを含まない良質な事実データにRLを適用し、名前->emailペアに対するターゲットプローブと、モデルに自分が知っているアドレスを単純にリストアップするように要求する未ターゲットのフリーリコールプロンプトを再度探索する。 DeepSeek-V3.1では、 verbatim recall@k が0.155から0.370に増加し、2.4倍の上昇を示した。 効果はモデルサイズとともにスケールする:8Bから671Bのパラメータにまたがる3つのモデルにまたがって、最大のモデルでは絶対リークが最も大きい。 一方、モデルの推論能力と拒絶率は保持され、RLは、モデルを広範囲に変更するのではなく、記憶された情報にアクセス可能なものを選択的に変更することを示す。 要約すると、記憶されたプライベートデータは、決して触れないトレーニングによって、著しく抽出可能である。 これにより、プライバシ関連のトレーニングシグナルが不要で、データ自体へのアクセスが不要な、暗記されたデータへのルートを敵に与えます。

関連論文リスト

• Anatomy of Unlearning: The Dual Impact of Fact Salience and Model Fine-Tuning [59.19460954480119]
  忘れられた知識が事前学習や教師付き微調整に由来するかどうかを考察する。 実験の結果,事前学習モデルとSFTモデルは未学習に対して異なる反応を示した。
  論文  参考訳（メタデータ） (2026-02-23T08:58:48Z)
• Is Gradient Ascent Really Necessary? Memorize to Forget for Machine Unlearning [71.96329385684395]
  勾配上昇(GA)に代わるモデル外挿法を提案する。 言い換えると、記憶モデルから参照モデルへの外挿によって、忘れモデルが得られる。 モデル外挿法の実装はシンプルで効率的であり、トレーニング全体を通して効果的に収束し、未学習のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2026-02-06T07:11:27Z)
• Leverage Unlearning to Sanitize LLMs [0.3867363075280543]
  言語モデルを衛生化するための未学習アプローチであるSANIを提案する。 1) モデルの最後の層にある特定のニューロンをリセットして微細な情報の記憶を妨害し、2) 機密情報を記憶するのを避けながらモデルを微調整する。 結果から, 未学習のエポックがわずかに少なければ, モデルは衛生化され, リグルジテーションの数は劇的に減少することがわかった。
  論文  参考訳（メタデータ） (2025-10-24T10:28:40Z)
• Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs [54.167494079321465]
  LLMの現在のアンラーニング方法は、それらを微調整データに組み込むことで、削除しようとしているプライベート情報に基づいて最適化されている。 本研究では,未学習目標を学習対象に含まない新しい非学習手法-部分的モデル崩壊(PMC)を提案する。
  論文  参考訳（メタデータ） (2025-07-06T03:08:49Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• ARMOR: Shielding Unlearnable Examples against Data Augmentation [25.289775916629505]
  我々は、データ拡張の潜在的な侵害からデータプライバシを保護するためのフレームワークARMORを提案する。 ARMORは、強化された保護されたサンプルでトレーニングされたモデルのテスト精度を、ベースラインよりも60%以上削減する。
  論文  参考訳（メタデータ） (2025-01-15T15:22:57Z)
• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• MoPe: Model Perturbation-based Privacy Attacks on Language Models [4.4746931463927835]
  大規模言語モデル(LLM)は、トレーニングデータに存在する機密情報を意図せずにリークすることができる。 本稿では,事前学習した言語モデルのトレーニングデータに含まれるテキストを高い信頼度で識別する新しい手法であるモデル摂動(MoPe)を提案する。
  論文  参考訳（メタデータ） (2023-10-22T17:33:19Z)
• Amnesiac Machine Learning [15.680008735220785]
  最近制定された一般データ保護規則は、欧州連合の居住者に関するデータを持つデータ保有者に影響を与えている。 モデルは、モデル反転攻撃のような情報漏洩攻撃に対して脆弱である。 我々は、モデル所有者が規制に準拠しながら、そのような攻撃から身を守ることのできる、UnlearningとAmnesiac Unlearningの2つのデータ除去方法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T13:14:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。