論文の概要: Leaky Students: Membership Inference against On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2609.33136v1
- Date: Sun, 27 Sep 2026 03:06:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 10:07:44.17925
- Title: Leaky Students: Membership Inference against On-Policy Distillation
- Title（参考訳）: 漏洩した学生: オンライン蒸留に対する会員推定
- Abstract要約: その結果,新入生トラジェクトリは,参照-回答損失を固定するスパースメンバーシップシグナルを露呈することがわかった。
ターゲットモデルから新しいトラジェクトリを抽出し,トークンログの確率と一致した参照モデル間の最大値を比較する。
これはLeaky ReLUを結果のギャップに適用し、非メンバーにおける偶発的正のギャップの近似的補正として正のギャップを保ち、負のギャップを下げる。
- 参考スコア（独自算出の注目度）: 9.526055673825544
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation (OPD) trains a student to match a teacher's next-token distributions on student-generated trajectories. However, privileged information supplied to the teacher for OPD training may contain sensitive data. Whether the student leaks private information about the records supplied to the teacher during distillation remains poorly understood. To the best of our knowledge, we present the first systematic study of membership inference in this setting. We find that fresh student trajectories expose sparse membership signals that fixed reference-answer losses often miss. These signals are mixed with probability changes caused by training on other records. We introduce Leaky, which samples fresh trajectories from the target model and compares its token log-probabilities with the maximum across matched reference models trained without the candidate records. It applies Leaky ReLU to the resulting gaps, preserving positive gaps and downweighting negative gaps as an approximate correction for incidental positive gaps in non-members. Across fifteen targets spanning mathematics, medical question answering, and code generation, Leaky outperforms all evaluated baselines and achieves mean AUROC 0.875, compared with 0.614 for the strongest baseline on each target in the main evaluation. On the same sampled trajectories, the strongest baseline achieves mean AUROC 0.826. These results show that students trained through OPD can expose the membership of records used for teacher supervision, even when fixed reference-answer losses provide little evidence of membership.
- Abstract（参考訳）: オンライン蒸留(On-policy distillation、OPD)は、学生が生み出す軌道上の教師の次点の分布と一致するように学生を訓練する。
しかし、OPDトレーニングのために教師に提供される特権情報には、機密データが含まれる可能性がある。
蒸留中に教師に提供された記録について、学生が私的情報を漏らしたかどうかについては、未理解のままである。
我々の知識を最大限に活用するために、この環境での会員推定に関する最初の体系的研究を提示する。
その結果,新入生トラジェクトリは,参照-回答損失を固定するスパースメンバーシップシグナルを露呈することがわかった。
これらの信号は、他のレコードのトレーニングによって生じる確率変化と混合される。
ターゲットモデルから新しいトラジェクトリを抽出し、トークンログの確率を、候補レコードなしでトレーニングされた一致参照モデル全体の最大値と比較するLeakyを紹介する。
これはLeaky ReLUを結果のギャップに適用し、非メンバーにおける偶発的正のギャップの近似的補正として正のギャップを保ち、負のギャップを下げる。
数学、医学的質問応答、コード生成を対象とする15の目標に対して、Leakyは評価されたベースライン全てを上回り、AUROC 0.875の平均を達成している。
同じサンプル軌道上では、最強のベースラインは平均AUROC 0.826に達する。
これらの結果から, OPDで訓練した学生は, 教師の指導に使用する記録の会員登録を公開できることがわかった。
関連論文リスト
- TISD: On-Policy Self-Distillation with Trajectory Intervention [13.94224055378737]
On-policy Self-distillation (OPSD) は、高密度の教師ターゲットを提供するが、学生サンプルのロールアウトに沿ってのみ評価する。
単純な分岐再生蒸留アルゴリズムであるトラジェクトリ・インターベンション・セルフ蒸留(TISD)を導入する。
TISDは教師が選択したブランチアクションを強制し、サフィックス生成を生徒に返却し、特権条件付き教師の下で完全な軌跡を蒸留する。
論文 参考訳（メタデータ） (2026-09-25T06:37:02Z) - Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall [79.59596652272923]
教師が自信を持つトークンを蒸留する簡易な中間訓練目的であるスイッチ蒸留を提案する。
標準的なNTPとは対照的に、推論性能は1.61-1.71x、知識と常識性能は1.13-1.19xである。
論文 参考訳（メタデータ） (2026-09-01T17:00:30Z) - DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。
DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
論文 参考訳（メタデータ） (2026-07-02T17:58:29Z) - Self-Distilled RLVR [57.37526213765131]
特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。
textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。
これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
論文 参考訳（メタデータ） (2026-04-03T15:50:07Z) - Which Reasoning Trajectories Teach Students to Reason Better? A Simple Metric of Informative Alignment [82.00769536768509]
Rank-Surprisal Ratioは、推論軌道の適合性を評価するためにアライメントとインフォメーションの両方をキャプチャする単純な計量である。
軌道選択と教師選択の両方において,その実用性を実証する。
論文 参考訳（メタデータ） (2026-01-20T18:58:10Z) - Enhancing Robustness in Incremental Learning with Adversarial Training [15.184564265850382]
本研究では,漸進学習における対人ロバスト性を扱うARCIL(Adversarially Robust Class Incremental Learning)について検討する。
まず,新たな知識の獲得と過去の知識の保持の相反を招き,既存の学習手法と漸進的な学習を統合した一連のベースラインについて検討する。
textbfFLatness-versa textbfAdversarial textbfIncremental Learning for textbfRobustness (textbfFLAIR)。
論文 参考訳（メタデータ） (2023-12-06T04:38:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。