論文の概要: Sharpen Without Search: On-Policy Distillation of Sequence-Level Power Distribution

• arxiv url: http://arxiv.org/abs/2610.06804v1
• Date: Mon, 05 Oct 2026 17:53:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 22:36:50.312099
• Title: Sharpen Without Search: On-Policy Distillation of Sequence-Level Power Distribution
• Title（参考訳）: サーチなしシャーペン:シークエンスレベル電力分配のオン・ポリシィ蒸留
• Abstract要約: 言語モデルは、正しい答えを1つの誤った答えよりも高い確率で与えることができる。 モデルが1世代でそのような回答を生成するように訓練できることを示します。
• 参考スコア（独自算出の注目度）: 10.850485774729977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A language model can give a correct answer more probability than any single incorrect answer and still usually sample an incorrect one, because the incorrect answers together hold more probability. The power distribution raises each complete answer's probability to a power above one and renormalizes, shifting probability toward answers the model finds most likely (sharpening). Sampling from it improves reasoning without changing parameters, but needs many scored candidates per query. We show that a model can instead be trained to produce such answers in one generation. On-policy power distillation (OPPD) runs a sequential Monte Carlo sampler in which the model being trained generates candidates and a frozen teacher's power distribution weights them; the same probabilities weight each answer in a maximum-likelihood update. Training raises single-generation accuracy by up to 23.0 points on MATH500 and 27.3 on GSM8K over the untrained model at the same temperature, and one generation scores 2.4 and 3.5 points above published power sampling with 64 candidates, recovering 94 percent of the gain that 16 candidates give the untrained model. For context, against GRPO trained with verified rewards from the same checkpoint and budget, OPPD scores 3.8, 4.0 and 5.4 points higher on MATH500, GSM8K and AIME using no reference answers; the two are complementary, and OPPD applied after GRPO adds up to 9.3 points. Trained only on mathematics, OPPD raises HumanEval accuracy by up to 5.3 points. One loss coefficient moves the sharpening exponent the model absorbs between 1.19 and 2.02, against 1.14 for ordinary on-policy distillation, and it rises mostly on the model's own answers. Gains hold across model families and sizes, including a model already trained with verified rewards, where lowering the temperature gives nothing and OPPD adds 4.4 points on MATH500. Code: https://github.com/ArminAzizi98/OPPD.
• Abstract（参考訳）: 言語モデルは、単一の誤った答えよりも正しい答えを与えることができ、いまだに間違った答えをサンプリングする。 パワー分布は、各完全な解答確率を1以上の解答の確率に引き上げ、正則化し、モデルが最も可能性の高い解へと確率をシフトさせる(注意)。 パラメータを変更することなく推論を改善するが、クエリ毎に多くの候補を取得する必要がある。 モデルが1世代でそのような回答を生成するように訓練できることが示されます。 オンライン電力蒸留(OPPD)は、訓練中のモデルが候補を生成し、凍結した教師の電力分布がそれらを重み付けする連続的なモンテカルロサンプリングを実行する。 トレーニングは、GSM8KのMATH500で最大23.0ポイント、GSM8Kで最大27.3ポイント、64人の候補者で公表されたパワーサンプリングで1世代のスコア2.4と3.5ポイントを上回り、16人の候補者が未訓練モデルに与えている利得の94%を回復させる。 文脈では、同じチェックポイントと予算から検証された報酬で訓練されたGRPOに対して、OPPDはMATH500、GSM8K、AIMEの3.8、4.0、および5.4ポイントを基準回答なしで上回り、2つは相補的であり、GRPOの後に適用されるOPPDは9.3ポイントまで上昇する。 数学のみで訓練されたOPPDは、HumanEvalの精度を最大5.3ポイント向上させる。 1つの損失係数は、モデルが1.19から2.02の間で吸収するシャープニング指数を通常のオンライン蒸留の1.14に移動させる。 利得はモデルファミリーとサイズにまたがって保持され、例えば、既に検証された報酬で訓練されたモデルでは、温度を下げることは何も与えないが、OPPDはMATH500に4.4ポイントを加算する。 コード:https://github.com/ArminAzizi98/OPPD。

関連論文リスト

• Target-Checked Reliability Score Refinement for Video Question Answering [3.8271803328378677]
  モデルの再トレーニングや回答の変更を伴わずに、目標シフトの下で回答レベルの信頼性スコアを改善できるかどうかを検討する。 3つの固定されたビデオ言語モデルから、4つの決定論的ビデオサンプリングに基づいてオプション確率リストを収集する。 選択した回答に割り当てられた確率として定義される原点スコアと,開発データセットに基づいて学習したヒストグラムに基づく勾配ボスティング(HGB)スコアを比較した。 候補は、ビデオレベルの繰り返しチェックがポジティブで安定した改善を示す場合にのみ、元のスコアを置き換える。
  論文  参考訳（メタデータ） (2026-09-09T08:29:00Z)
• Capability-Stratified Degradation in Ternary Language Models [0.0]
  第三次言語モデルは重量を$-1,0,+1$に制限し、$log 3 approx 1.585$ bits/weightに近づいた。 量子化対応トレーニング(QAT)の72.4Mトークンを用いて、Qwen3.5-0.8B(752Mパラメータ)を3次重みに変換する。 結果のモデルであるCloeは、29のベンチマーク、表現診断、下流の微調整で評価される。
  論文  参考訳（メタデータ） (2026-08-28T19:22:38Z)
• Measuring Reward Hacking and Reasoning-Answer Decoupling Under Position-Confounded Optimization [1.1316247605466565]
  正解が常にオプションAである数学問題に対してGRPOを用いて言語モデルを訓練し、不偏解位置を持つ未知のテストセットで評価する。 Qwen2.5、Llama 3.x、Gemma-3のモデルでは、より小さなモデルではオプションAレートが0.90を超えている。 有能なモデルは、Aを選択しながら正しい数値解に到達した推論を生成する。
  論文  参考訳（メタデータ） (2026-08-15T23:13:57Z)
• On-Policy Self-Distillation without Any Supervision [47.315224514076334]
  我々は、内部整合性を通して、モデル自身の世代のみを用いて、政治上の自己蒸留を実現することができることを示す。 教師なしの政治自己蒸留(U-OPSD)を提案する。
  論文  参考訳（メタデータ） (2026-08-06T17:18:23Z)
• Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
  Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。 本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
  論文  参考訳（メタデータ） (2026-06-01T04:43:36Z)
• Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model [56.92219181993453]
  本稿では,PPOやGRPOなどのオンラインRFT手法をオフ・ポリティクスデータに活用するために,Reincarnating Mix-policy Proximal Policy Gradient (ReMix)を提案する。 ReMix は,(1) 効率的なトレーニングのための更新データ(UTD)比が増大した混成政策勾配,(2) 安定性と柔軟性のトレードオフのバランスをとるためのKL-Convex 政策制約,(3) 効率的な早期学習から安定した改善へのシームレスな移行を実現するための政策再編成の3つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2025-07-09T14:29:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。