論文の概要: Policy Alignment: New Signals for Membership Auditing in On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2610.11423v1
- Date: Thu, 08 Oct 2026 07:48:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.873616
- Title: Policy Alignment: New Signals for Membership Auditing in On-Policy Distillation
- Title（参考訳）: 政策アライメント:オン・ポリティシィ蒸留におけるメンバーシップ監査の新たなシグナル
- Abstract要約: オンライン蒸留(OPD)は、学生モデル自体が生み出す軌道上の教師モデルとポリシーを整合させることで、学生モデルを訓練する。
既存の手法は主に、確率に基づく信頼信号や、チェックポイント間の生徒のポリシードリフトに依存している。
OPDに適した新しい監査フレームワークであるPAMA(Polical Alignment Membership Auditing)を提案する。
- 参考スコア（独自算出の注目度）: 5.0503098099661825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy distillation (OPD) trains a student model by aligning its policy with a teacher model on trajectories generated by the student model itself. Through this process, the student policy moves toward the teacher on the prompts used for distillation. However, these prompts are often private and costly, creating a need for prompt-level membership auditing. Existing methods mainly rely on likelihood-based confidence signals or student policy drift between checkpoints, but they do not capture the teacher-induced direction of the student update. In this paper, we propose Policy Alignment Membership Auditing (PAMA), a new auditing framework tailored for OPD. Our key observation is that a member prompt directly contributes to the teacher-guided policy update, while a non-member prompt only experiences indirect effects through cross-prompt generalization. Based on this directional trace, PAMA measures whether the student update moves toward reducing the teacher loss on a candidate prompt. Specifically, we introduce Teacher Alignment Gain (TAG) to estimate the teacher-aligned update direction from model outputs, and further combine it with student drift and uncertainty alignment signals for reliable membership auditing. We evaluate PAMA on six datasets and three teacher-student model families. On MATH, the primary evaluation benchmark, PAMA achieves AUC values of 0.791--0.941, improving AUC by 14.6--20.6% over state-of-the-art baselines.
- Abstract（参考訳）: オンライン蒸留(OPD)は、学生モデル自体が生み出す軌道上の教師モデルとポリシーを整合させることで、学生モデルを訓練する。
このプロセスを通じて、学生政策は、蒸留に使用するプロンプトに基づいて教師に向かって進む。
しかしながら、これらのプロンプトはプライベートで費用がかかることが多く、プロンプトレベルのメンバーシップ監査の必要性が生じる。
既存の手法は主に、確率に基づく信頼信号や、チェックポイント間の学生政策のドリフトに依存しているが、教師による更新の方向を捉えていない。
本稿では,OPDに適した新しい監査フレームワークであるPAMA(Polical Alignment Membership Auditing)を提案する。
我々のキーとなる観察は、メンバが直接、教師が指導する政策更新に貢献する一方で、非メンバは、クロスプロンプトの一般化を通じて間接的な効果のみを経験することである。
この方向性から,PAMAは,学生更新が教師の損失を減らそうとしているかどうかを,候補者のプロンプトで測定する。
具体的には,教師アライメントゲイン(TAG)を導入し,モデル出力から教師の対応した更新方向を推定し,さらに生徒のドリフトや不確実性アライメント信号と組み合わせて,信頼性のある会員監査を行う。
PAMAを6つのデータセットと3つの教師モデルファミリーで評価した。
MATHでは、PAMAはAUCの0.791--0.941を達成し、最先端のベースラインよりも14.6--20.6%改善した。
関連論文リスト
- Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。
マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。
マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
論文 参考訳（メタデータ） (2026-10-07T20:29:29Z) - On-Policy Distillation with Negative-Policy Rollouts [61.76889440384448]
オンライン蒸留(英: On-policy distillation、OPD)は、学生モデルが自身のロールアウトでより強い教師からトークンレベルの監督を取得するポストトレーニング手法である。
我々は,教師の監督と低パフォーマンスで低能力なネガティブポリシーのロールアウトを補完するNegative-Policy OPD(NP-OPD)を導入する。
NP-OPDは、OPDで使用される正の教師監督を保ちながら、負の政治的ロールアウトを通じて明確な負のシグナルを提供する。
論文 参考訳（メタデータ） (2026-10-06T07:25:03Z) - Learning from a Thoughtful Teacher: Adaptive On-Policy Self-Distillation for Mathematical Reasoning [8.090139988796041]
On-policy Self-distillation (OPSD)は、教師からのトークンレベルのフィードバックで質問専用学生を訓練し、訓練専用特権情報(PI)を付与する。
予備診断では, 学生の学習能力と教師の効用との間に有意な差があることが示唆された。
本稿では,教師がどのような情報を受け取り,そのフィードバックが学習に与える影響を強く評価する適応型オンライン自己蒸留(AOPSD)を提案する。
論文 参考訳（メタデータ） (2026-09-26T14:23:15Z) - TISD: On-Policy Self-Distillation with Trajectory Intervention [13.94224055378737]
On-policy Self-distillation (OPSD) は、高密度の教師ターゲットを提供するが、学生サンプルのロールアウトに沿ってのみ評価する。
単純な分岐再生蒸留アルゴリズムであるトラジェクトリ・インターベンション・セルフ蒸留(TISD)を導入する。
TISDは教師が選択したブランチアクションを強制し、サフィックス生成を生徒に返却し、特権条件付き教師の下で完全な軌跡を蒸留する。
論文 参考訳（メタデータ） (2026-09-25T06:37:02Z) - Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation [41.854144563456046]
弱強一般化は、より弱いスーパーバイザーからより強力なモデルを学び、それらを上回ることができるかどうかを問う。
本稿では,教師の政策シフトを評価し,学生の検証者主導の政策勾配を増幅するOn-Policy Reverse Distillationを紹介する。
連続したモデル転送とマルチティーチンガー蒸留の両方において、OPRDは既存のRLや蒸留手法よりも学生更新が少なく、極めて高い性能を達成している。
論文 参考訳（メタデータ） (2026-09-08T14:26:35Z) - Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。
ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。
プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
論文 参考訳（メタデータ） (2026-06-16T17:46:02Z) - SocraticPO: Policy Optimization via Interactive Guidance [64.7524628699057]
大規模言語モデルのための強化学習(RL)は通常、二項正当性のようなスカラー結果の報酬を伴う推論を監督する。
我々は、ソクラティックスタイルの自然言語ガイダンスでRLロールアウトを強化する政策最適化フレームワークであるtextbf SocraticPO(Socratic Policy Optimization)を提案する。
論文 参考訳（メタデータ） (2026-06-03T09:08:29Z) - When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning [45.79647925282674]
On-policy Self-distillation (OPSD) は、特権教師を使って生徒を自身のロールアウトで訓練する。
既存のエントロピーに基づくPD手法は、教師エントロピーによるトークンレベルの監督を調節することで、この一様性を緩和する。
そこで我々は,PW-OPSD(Pight-Weighted On-Policy Self-Distillation)を提案する。
論文 参考訳（メタデータ） (2026-05-20T18:14:03Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。
複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
論文 参考訳（メタデータ） (2026-05-13T09:20:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。