論文の概要: Revisiting On-policy Adversarial Black-Box Distillation: Calibrating Groupwise Reward Geometry for Effective Advantage Construction

• arxiv url: http://arxiv.org/abs/2609.39757v1
• Date: Wed, 30 Sep 2026 13:53:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.858988
• Title: Revisiting On-policy Adversarial Black-Box Distillation: Calibrating Groupwise Reward Geometry for Effective Advantage Construction
• Title（参考訳）: 市町村におけるブラックボックス蒸留の見直し--効果的なアドバンテージ構築のためのグループワイド・リワード・ジオメトリの校正
• Abstract要約: ブラックボックス蒸留は、APIアクセス可能な大規模言語モデルから機能を移行するための実用的な方法である。 GADのような近年の政敵法は、批判者と学生の間の対立ループを形成している。 本稿では,学生側報酬グループを形作ることによって利点を享受する2段階構成フレームワークGRGCを提案する。
• 参考スコア（独自算出の注目度）: 78.96080253280225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Black-box distillation is a practical route for transferring capabilities from API-accessible large language models that expose only text outputs into smaller student models. Recent on-policy adversarial methods such as GAD improve over SeqKD by forming an adversarial loop between a critic and a student, where the critic provides rewards for GRPO-based student policy optimization over the student's sampled responses. However, GRPO computes advantages from the within-group relative rewards of student samples for the same prompt, whereas the critic is trained primarily to distinguish teacher responses from student responses. This objective mismatch can produce reward groups with collapsed scale or fragile margins, leading to brittle grouped optimization signals. We propose Groupwise Reward Geometry Conditioning (GRGC), a two-stage framework that improves advantage construction by shaping student-side reward groups during both critic training and policy optimization. To improve critic-side conditioning, Gaussian groupwise Optimal Transport calibration regularizes the critic during training to produce reward groups with non-collapsed spread and smooth rank-wise gaps by matching sorted prompt-wise rewards to group-centered Gaussian quantiles. Building on this conditioned reward geometry, policy-side group power modulation reshapes the prompt-wise reward groups before they are converted into advantages, preserving the critic-induced ordering while increasing optimization-relevant margin separability. Extensive experiments across diverse teachers, student model families and scales, and training datasets demonstrate the effectiveness of GRGC on both in-distribution and out-of-distribution evaluations, while introducing negligible overhead over GAD. The code is available at https://github.com/2018cx/GRGC.
• Abstract（参考訳）: ブラックボックス蒸留は、より小さな学生モデルにテキスト出力のみを公開するAPIアクセス可能な大規模言語モデルから機能を移行するための実用的な方法である。 批判者と学生の間に対向ループを形成して,GADのような近年の政敵的手法がSeqKDよりも改善され,学生のサンプル回答に対するGRPOベースの生徒政策最適化に対する報酬が提供されるようになった。 しかし,GRPOは,学生の回答と生徒の反応を区別するために,学生サンプルの集団内相対報酬の利点を同一のプロンプトで計算する。 この客観的なミスマッチは、スケールが崩れたり壊れたりしたマージンを持つ報酬群を生成でき、不安定なグループ最適化信号をもたらす。 我々は,批判訓練と政策最適化の両方において,学生側報酬グループを形成することにより,有利な構成を改善する2段階のフレームワークであるグループワイド・リワード・ジオメトリ・コンディショニング(GRGC)を提案する。 批判側条件を改善するために、ガウス群移動キャリブレーション(英語版)は、非崩壊拡散と滑らかな階級差を持つ報酬群をグループ中心のガウス量子にソートした即時報酬と整合させることで、訓練中の批評家を正規化する。 この条件付き報酬幾何学に基づいて、ポリシー側のグループパワー変調は、最適化関連マージン分離性を高めつつ、批評家が引き起こした順序を保ちながら、利益に変換される前に、即時的な報酬グループを再活性化する。 多様な教師、学生モデル家族、スケール、および訓練データセットにわたる広範な実験は、GRGCが配当内および配当外の両方に与える影響を実証し、GADよりも無視可能なオーバーヘッドを導入している。 コードはhttps://github.com/2018cx/GRGCで公開されている。

関連論文リスト

• GR2PO: Group Relative Return Policy Optimization for Continuous Robot Control [24.541914524911608]
  Group Relative Return Policy Optimization (GR2PO)は、継続的ロボット制御のための批判のない強化学習フレームワークである。 GR2POは、並列収集されたトラジェクトリからの割引されたリターンを推定し、ロールアウト時間インデックス毎にグループ正規化を行い、相対的なアドバンテージとクリップされたターゲットを使用してポリシーを更新する。 その結果、GR2POは、即時報酬を使用し、最先端のアクター批判手法と競合する、批評家なしのベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-09-17T08:03:23Z)
• RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts [84.20747697259326]
  グループ相対政策最適化(GRPO)は、検証可能なフィードバックからの強化学習において大きな効果を示している。 我々は,直接正当性に基づく優位性構築を参照相対的比較に置き換えることでGRPOを一般化するtextbfReference-Relative Policy Optimization (RRPO)を提案する。 我々は,タスクベーストラス検証に頼らずに,ポリシー最適化全体を通じてアンカーベースのコントラスト的優位性を用いてRRPOを評価する。
  論文  参考訳（メタデータ） (2026-07-20T19:40:25Z)
• Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation [13.272542054938258]
  非効率な勾配でトレーニングバッチの割合を定量化する最初の指標であるAdvantage Collapse Rate (ACR)を導入する。 次に、仮想報酬サンプルを注入するGRPOの軽量拡張であるAdaptive Virtual Sample Policy Optimization (AVSPO)を提案する。 AVSPOはGRPOに対して58～63%の利害崩壊を減少させ、すべてのモデルスケールで4～6ポイントの一貫した精度向上をもたらす。
  論文  参考訳（メタデータ） (2026-05-20T12:57:37Z)
• From Failure to Feedback: Group Revision Unlocks Hard Cases in Object-Level Grounding [35.008790179255136]
  本稿では,ハードケースにおける学習を促進するグループ・リビジョン最適化パラダイムを提案する。 報酬形成にインスパイアされ,初期試行よりも各候補者の改善を定量化する統合プロセスを導入する。 提案手法は,従来のGRPOモデルと比較して,参照と推論のセグメンテーション,REC,およびカウントのベンチマークで一貫したゲインを実現する。
  論文  参考訳（メタデータ） (2026-05-15T13:41:41Z)
• Revisiting Reinforcement Learning with Verifiable Rewards from a Contrastive Perspective [10.958642517467721]
  RLVRにおけるコントラストシーケンスレベルのポリシー最適化のためのフレームワークを提案する。 ConSPOはGRPOのクリップされた比率ベースのスコアを、長さ正規化されたシーケンスログ確率に置き換える。 ConSPOは、挑戦的な数学的推論ベンチマークにおいて、いくつかの強力なRLVRベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-13T04:02:36Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• From Absolute to Relative: Rethinking Reward Shaping in Group-Based Reinforcement Learning [7.6602542594279335]
  本稿では,報酬形成を絶対得点から相対ランクへシフトさせるために,相対報酬を用いた強化学習を提案する。 RLRRは、推論ベンチマークやオープン・エンド・ジェネレーションタスクにおいて、標準グループベースベースラインよりも一貫した性能向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-01-30T15:07:06Z)
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
  我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。 単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。 この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:15:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。