論文の概要: Persistent Negatives for Adversarial Black-Box On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.30864v1
• Date: Fri, 25 Sep 2026 06:14:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.254369
• Title: Persistent Negatives for Adversarial Black-Box On-Policy Distillation
• Title（参考訳）: 逆ブラックボックスon-policy蒸留における持続的陰性
• Abstract要約: Black-box On-Policy Distillation (OPD)は、教師がサンプリングされた応答を提供するがトークンの確率は示さないとき、生徒を自身の世代から改善しようと試みている。 反対蒸留は、即席の教師と生徒の反応に対して差別者を学び、そのスコアを政策報酬として利用する。 この移動目標問題に,各識別器バッチの分画を,履歴的,即時的な教師比較に置き換えるライブプール法である,持続負の逆蒸留を用いて対処する。
• 参考スコア（独自算出の注目度）: 12.209532880096141
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Black-box On-Policy Distillation (OPD) seeks to improve a student from its own generations when the teacher provides sampled responses but not token probabilities. Adversarial distillation offers one route: it learns a discriminator over prompt-matched teacher and student responses and uses its score as the policy reward. However, sampling discriminator negatives from the latest student at each step couples the learned reward to a negative distribution that changes after every policy update. We address this moving-target problem with persistent-negative adversarial distillation, a live-pool method that replaces a fraction of each discriminator batch with historical, prompt-matched teacher--student comparisons. Under matched discriminator compute, historical comparisons train the discriminator, while GRPO remains on-policy with fresh student responses. Our analysis identifies the Bayes-optimal reward as a teacher-to-negative log-density ratio and, under explicit assumptions, shows how persistent negatives anchor the discriminator and reduce reward-estimation MSE relative to fresh-negative training. Across two student families, three judges, and four judged-chat benchmarks, persistent-negative adversarial distillation consistently improves performance over current methods at matched discriminator compute. It also yields smoother fresh-policy discriminator trajectories, with fewer below-chance dips. These findings identify the discriminator's negative distribution as an important design axis in black-box on-policy distillation.
• Abstract（参考訳）: Black-box On-Policy Distillation (OPD)は、教師がサンプリングされた応答を提供するがトークンの確率は示さないとき、生徒を自身の世代から改善しようと試みている。 反対蒸留は、即席の教師と生徒の反応に対して差別者を学び、そのスコアを政策報酬として利用する。 しかしながら、各ステップで最新の学生から抽出された判別器陰性は、学習した報酬と、ポリシー更新毎に変化する負の分布とを結合する。 この移動目標問題に,各識別器バッチの分画を,履歴的,即時的な教師比較に置き換えるライブプール法である,持続負の逆蒸留を用いて対処する。 一致した差別者計算の下では、歴史的比較は差別者を訓練するが、GRPOは新鮮な学生の反応とともに政治を継続する。 分析では,ベイズ最適報酬を教師対負の対数密度比と同定し,明示的な仮定では,過度な負が判別器を固定し,新陰性トレーニングと比較して報酬推定MSEを減少させることを示す。 2つの学生家族、3人の裁判官、4つの判定されたチャットベンチマーク、永続的な負の逆蒸留は、一致した判別器計算における現在の方法よりも常に性能を向上する。 また、よりスムーズな新鮮なポリチミネーター・トラジェクター(英語版)を発生させ、より短めのディップを減少させる。 これらの結果から, 判別器の負の分布は, ブラックボックスオンポリケート蒸留における重要な設計軸であることが明らかとなった。

関連論文リスト

• SPOT: Sparse Probing and Outcome Calibration for On-Policy Distillation [28.886137823815826]
  Sparse Probing and Outcome-calibrated Targets OPD (SPOT)を紹介する。 SPOTは、取得-探索-探索-探索手順を通じて、どこで調査し、何を蒸留するかという2つの複合的な決定に対処する。 複数の学生モデルと推論ベンチマークによる実験は、SPOTの有効性を実証している。
  論文  参考訳（メタデータ） (2026-08-05T03:59:24Z)
• Multi-Rollout On-Policy Distillation via Peer Successes and Failures [31.731266689209914]
  大規模な言語モデルは、しばしばスパース検証器の報酬で訓練後、サンプルの軌道が成功するかどうかを示すが、推論が成功するか失敗するかについての限られたガイダンスを提供する。 オンライン蒸留(OPD)は、学生が生み出す軌跡の訓練により、より密集したトークンレベルの監督を提供する。 我々は,学生のローカルロールアウトグループを用いて,より情報のある教師信号を構築する,ピアコンディショニング蒸留フレームワークであるMulti-Rollout On-Policy Distillation (MOPD)を紹介した。
  論文  参考訳（メタデータ） (2026-05-12T18:57:44Z)
• Beyond Hard Negatives: The Importance of Score Distribution in Knowledge Distillation for Dense Retrieval [26.186599286240362]
  スコアスペクトル全体を均一にカバーするStratified Smpling戦略を提案する。 実験により、教師のスコアの分散とエントロピーを保存するStratified Samplingが、堅牢なベースラインとして機能することが確認された。
  論文  参考訳（メタデータ） (2026-04-06T15:02:35Z)
• Contrastive Learning with Negative Sampling Correction [52.990001829393506]
  PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。 PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。 PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-01-13T11:18:18Z)
• Adam: Dense Retrieval Distillation with Adaptive Dark Examples [104.01735794498767]
  本稿では,教師が持つ暗黒知識を適応暗黒エクストリームで伝達する知識蒸留フレームワークであるADAMを提案する。 2つの広く利用されているベンチマークで実験を行い、本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-12-20T12:03:19Z)
• AdCo: Adversarial Contrast for Efficient Learning of Unsupervised Representations from Self-Trained Negative Adversaries [55.059844800514774]
  本稿では,正の問合せに対して識別が難しい表現を訓練するためのAdCoモデルを提案する。 実験により,AdCoモデルが優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2020-11-17T05:45:46Z)
• NPCFace: Negative-Positive Collaborative Training for Large-scale Face Recognition [78.21084529159577]
  我々は、トレーニングを改善するために、ハードサンプルのより良い利用方法を研究する。 強正と強負の相関は見過ごされ、正と負のロジットのマージンの関係も見過ごされる。 我々はNPCFaceと呼ばれる新規な負の正の協調的損失を提案し、これは負のハードケースと正のハードケースの両方のトレーニングを強調している。
  論文  参考訳（メタデータ） (2020-07-20T14:52:29Z)
• Combating False Negatives in Adversarial Imitation Learning [67.99941805086154]
  敵対的模倣学習では、エージェントエピソードと、所望の行動を表す専門家のデモンストレーションとを区別するために、判別器を訓練する。 訓練された方針がより成功することを学ぶと、負の例は専門家の例とますます似ている。 本研究では,偽陰性の影響を緩和し,BabyAI環境上で検証する手法を提案する。
  論文  参考訳（メタデータ） (2020-02-02T14:56:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。