論文の概要: OP-Print: Tracing Membership Imprints in On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2610.31616v1
• Date: Thu, 22 Oct 2026 17:41:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.500902
• Title: OP-Print: Tracing Membership Imprints in On-Policy Self-Distillation
• Title（参考訳）: OP-Print:On-Policy Self-Distillationにおけるメンバーシップインプリントの追跡
• Abstract要約: 本研究は, 政治的自己蒸留に対する会員推測攻撃に関する最初の研究である。 我々はOP-Printという統合攻撃フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 58.432996881401415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation has been widely adopted for alleviating the distribution mismatch of off-policy distillation. Self-distillation further removes the need for an external teacher by using the student's own outputs, enhanced with extra context or demonstrations, as supervision. This teacher-free design makes on-policy self-distillation practical, yet its privacy risks remain largely unexplored. In particular, using two coupled views of the same training example may strengthen its memorization. Motivated by this, we present the first study of membership inference attacks against on-policy self-distillation. We investigate both gray-box and black-box threat models and propose a unified attack framework, named OP-Print. OP-Print builds on our finding that the supervision imprint in on-policy self-distillation is sparse and structured, concentrating on uncertainty-sensitive correction sites rather than across the entire rollout. Exploiting this property, we construct attack signals tailored to the two access levels: in the gray-box setting, OP-Print directly aggregates the privileged teacher-student residual correction along the same rollout; in the black-box setting, it measures restart-based output-basin stability as an observable surrogate for the hidden correction process. Across diverse models and distillation schemes, all baseline attacks remain essentially at random guessing even under gray-box access, whereas OP-Print is broadly validated to be effective in both gray-box and black-box settings.
• Abstract（参考訳）: オン・ポリケーション蒸留は、オフ・ポリケーション蒸留の分布ミスマッチを軽減するために広く採用されている。 自己蒸留は、学生自身のアウトプットを使用して外部教師の必要性をさらに排除し、余分な文脈やデモンストレーションを監督として強化する。 この教師なしのデザインは、政治上の自己蒸留を実践するが、そのプライバシーのリスクはほとんど未解明のままである。 特に、同じトレーニング例の2つの組み合わせビューを使用することで、記憶が強化される可能性がある。 本研究は, 政治的自己蒸留に対する会員推測攻撃に関する最初の研究である。 我々は、グレーボックスとブラックボックスの脅威モデルの両方を調査し、OP-Printという統合攻撃フレームワークを提案する。 OP-Printは、政策上の自己蒸留のインプリントが、ロールアウト全体にわたってではなく、不確実性に敏感な修正サイトに集中して、スパースで構造化されているという私たちの発見に基づいています。 グレーボックス設定では、OP-Printは同じロールアウトに沿って特権教師の残差補正を直接集約し、ブラックボックス設定では、隠れた修正プロセスの観測可能なサロゲートとして再起動ベースの出力ベース安定性を測定する。 多様なモデルや蒸留スキームにまたがって、すべてのベースライン攻撃は基本的にグレーボックスアクセスの下でもランダムに推測されるが、OP-Printはグレーボックスとブラックボックスの両方で有効であると広く検証されている。

関連論文リスト

• Adaptive Supervised Anchoring for On-Policy Self-Distillation [15.445625053566244]
  オンライン自己蒸留は、学生から採取した軌道上の凍結教師からの指導を蒸留することにより、言語モデルに適応する。 本研究は,学生が目標軌跡から遠ざかると,教師の目標外接頭辞の条件がタスク関連監督を著しく弱めることを示す。 本稿では,2つの補完的な指導経路を分離する統合トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-08T05:46:32Z)
• DUET: Dual-Teacher On-Policy Distillation via Same-Weight Disagreement for Prohibition Compliance [18.120747389265595]
  DUETは、禁止(肯定的な)を見る教師と、(否定的な)否定しない同一の重みを持つ教師とをペアにする 2人の教師は、禁制の可視性においてのみ異なるため、一対の意見の不一致は禁制の因果効果を分離する。 明示的な拒絶、言い換えの堅牢性、過剰な拒絶を含む5つのタスクファミリーにまたがる産業禁制基準を構築した。
  論文  参考訳（メタデータ） (2026-07-29T07:17:43Z)
• RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation [46.554172283247915]
  オンライン自己蒸留は、推論モデルに対する密集したトークンレベルの監督を提供する。 この分布ギャップから引き出された学習信号は、タスクを持つものよりもスタイルトークンに集中していることが示される。 我々は,このドリフトを緩和するためのtextbfRLCSD (Reinforcement Learning with Contrastive on-policy Self-Distillation) を提案する。
  論文  参考訳（メタデータ） (2026-06-10T06:31:59Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• PAINT: Partial-Solution Adaptive Interpolated Training for Self-Distilled Reasoners [9.324642081509756]
  大規模言語モデル(LLM)推論には、モデル自身のテスト時間状態とトークンレベルの情報の両方に整合した監視が必要である。 近年の独占型自己蒸留は,同じモデルによる学生のロールアウトを,検証済みのソリューションコンテキスト下で評価することによって中等地を探索している。 ロールアウト-参照重なりに応じて検証された解を隠蔽し、エントロピー-ミスマッチトークンのスパースセットに小さなエネルギー空間を適用したPAINTを提案する。
  論文  参考訳（メタデータ） (2026-04-29T11:56:07Z)
• Students Parrot Their Teachers: Membership Inference on Model Distillation [54.392069096234074]
  知識蒸留によるプライバシを,教師と学生のトレーニングセットの両方で研究する。 私たちの攻撃は、生徒セットと教師セットが類似している場合、または攻撃者が教師セットを毒できる場合、最強です。
  論文  参考訳（メタデータ） (2023-03-06T19:16:23Z)
• Protecting Split Learning by Potential Energy Loss [70.81375125791979]
  我々は、分割学習の前方埋め込みからのプライバシー漏洩に焦点を当てる。 我々は、前方埋め込みをより「複雑化」させるためのエネルギー損失の可能性を提案する。
  論文  参考訳（メタデータ） (2022-10-18T06:21:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。