論文の概要: Cool the Sampler, Not the Learner: Sampling Temperature Moves the Staleness Cliff of Importance-Corrected GRPO
- arxiv url: http://arxiv.org/abs/2609.36953v1
- Date: Tue, 29 Sep 2026 07:56:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.298219
- Title: Cool the Sampler, Not the Learner: Sampling Temperature Moves the Staleness Cliff of Importance-Corrected GRPO
- Title（参考訳）: サンプルを冷やす、学習者ではなく:サンプリング温度は、重要度調整されたGRPOの安定性を損なう
- Abstract要約: 言語モデル用のプロダクションRLは、サンプルが学習者の後ろに落ちて、結果として発生するミスマッチを、重要度が減った重みで修復する。
私たちは、その修正の下でリフレッシュすることなく、どのくらいの期間サンプルが使えるのかを尋ね、崖を見つけます。
Qwen2.5-Math-1.5BとGSM8Kでは、重要度補正されたGRPOが192回毎のアップデートをリフレッシュし、180ステップで学習し、リフレッシュが到着する前に3つのデータシードすべてで大幅に劣化した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Production RL for language models lets the sampler fall behind the learner and repairs the resulting mismatch with a truncated importance weight. We ask how long the sampler can go without a refresh under that correction, and find a cliff: on Qwen2.5-Math-1.5B and GSM8K, importance-corrected GRPO refreshed every 192 updates learns well for 180 steps and then degrades severely in all three data seeds before the refresh arrives. Published remedies for staleness act on the update; we act on the sampler instead. Decoupled cooling draws samples at temperature 0.8 while the learner, the reference model and the importance weights stay at temperature 1, with the behaviour probability recorded from the tempered distribution, so the learner's objective is unchanged. All corresponding cooled runs are stable, and the longer interval keeps what the short one delivered: at the same update budget, a cooled sampler refreshed every 192 steps matches an uncooled sampler refreshed every 96 at the end of training (0.857 for both) and averaged over it (0.79), whereas lowering the learning rate to a safe value ends 3-7 points lower. On Qwen2.5-Math-7B the degradation points at interval 192 predict that an interval of 144 is fatal without cooling and survivable with it; on two data seeds the uncooled runs degrade before their first refresh and the cooled runs pass it and end at 92-93% against 68-81%, with one cooled run degrading transiently late in the second cycle. The benefit has a window: at three times the safe interval and in a high-mismatch MATH setting cooling delays degradation without preventing it, stronger cooling is not better, and cooling without the correction collapses. Sampling temperature is a control on staleness tolerance, and temperature and refresh interval should be chosen together.
- Abstract（参考訳）: 言語モデル用のプロダクションRLは、サンプルが学習者の後ろに落ちて、結果として発生するミスマッチを、重要度が減った重みで修復する。
Qwen2.5-Math-1.5BとGSM8Kでは、重要訂正されたGRPOが192回更新され、180ステップごとによく学習され、3つのデータシードが更新される前に大幅に劣化する。
アップデートでは、陳腐化対策が公開され、代わりにサンプルとして機能します。
解離冷却は、学習者、参照モデル、重要重みが温度1に留まっている間、温度0.8でサンプルを描画するので、学習者の目的は変わらない。
同じ更新予算で、192ステップごとにリフレッシュされた冷却サンプルは、トレーニング終了時に96回ごとに更新された未冷却サンプル(それぞれ0.857回)と平均値(0.79回)と一致し、学習率を3.7ポイント以下に下げる。
Qwen2.5-Math-7Bでは、192間隔の劣化点において、冷却せずに144間隔が致命的であると予測し、2つのデータ種では、冷却されていないランは、最初のリフレッシュ前に劣化し、冷却されたランは、92-93%で68-81%で終了し、冷却されたランは、第2サイクルで過渡的に劣化する。
この利点は、安全間隔の3倍、高ミスマッチのMATH設定では、冷却を防止せずに劣化させ、より強い冷却は良くなく、補正が崩れることなく冷却する。
サンプリング温度は安定性の制御であり、温度とリフレッシュ間隔を共に選択する必要がある。
関連論文リスト
- Luck Is Not Skill: When Do Paired Rollouts Help Group-Relative RL of LLM Agents? [2.488251122211714]
グループ相対強化学習は、同じプロンプトのロールアウトを比較するが、独立した環境ノイズはこれらの比較を曖昧にする可能性がある。
本研究は,各グループ内において,各ロールアウトの周縁分布を保ちながら,イベントキー付きノイズスケジュールを共有するペア付きロールアウトについて検討する。
片側グレーダ雑音に対して、還元の正確な条件を導出し、勾配のばらつきが増大する一方、報酬のコントラストが改善する反例を与える。
論文 参考訳（メタデータ） (2026-09-21T05:55:08Z) - Temperature Fragility and the Conditional Benefits of Truncation Sampling [0.01684341809285884]
トラニケーションサンプリング器は引き込み前に最も可能性の低いトークンを廃棄するので、高温でのサンプリングはコヒーレントである。
我々はGSM8KとMMLU-Proの13個のオープンウェイトモデルを1つの制御パイプラインで温度0.7, 1.0, 1.3で試験した。
論文 参考訳（メタデータ） (2026-09-14T12:33:36Z) - Let It Go or Learn to Self-Correct: Continuous Diffusion for Constrained Discrete Tasks [16.76819088768813]
拡散確率モデル(Denoising Diffusion Probabilistic Models)は、各更新を現在のノイズ状態に近い状態に保ちながら、繰り返しdenoisingによってサンプルを生成する。
モデルのクリーンな予測が有益である場合でも,標準拡散サンプリングは早期の誤りを保存する可能性があることを示す。
自己補正トレーニングを導入し、モデル自体の予測に公開し、推論中に発生するエラーに対する堅牢性を改善する。
論文 参考訳（メタデータ） (2026-09-08T16:45:52Z) - Adapting Without Gradients: Affine Statistics Transport and What Its Certificate Can Tell You [0.8594140167290097]
テスト時間適応は、モデルパラメータを推論時に更新できると仮定する。
学習したモデルが凍結したままでいなければならない場合、適応性について研究する。
本稿では、ソースクラス統計を識別サブ空間に格納するCASTERを紹介する。
論文 参考訳（メタデータ） (2026-08-31T21:07:36Z) - Diversify Diffusion with Temperature Sampling and Variance-Corrective Time Shifting [57.75750707482832]
本稿では,モード再重み付けを保ちながら分散インフレーションをキャンセルし,ネットワークをシフトタイムステップでクエリし,その結果のスコアを$$でスケールするトレーニング不要な修正である分散補正時間シフトを導入する。
DiT, 安定拡散モデル, 運動拡散モデルにまたがる品質と条件の忠実度を, 最小限のコストで一貫したゲインを示す。
論文 参考訳（メタデータ） (2026-07-12T17:32:29Z) - When the Next Step Is Not One Step: Distribution-Aware Execution Modeling for Concurrent Go Programs [0.0]
並列プログラムの次のステップを予測するためにモデルをトレーニングするのは、スケジューラが非決定論的であるため、見た目よりも難しい。
我々は、各プログラムを何度も実行し、観測された次の事象を経験的分布に集約し、その分布をKLの目的と一致するように7Bモデルを微調整する。
実際のGoのバグから引き出された798のホールトアウト予測では、1000個未満のトレースの微調整が36.2%の精度に達する。
P(GoUnblock)がスケジューラのセマンティクスによって保持される選択ブロックゴルータのクラスに対する正規なゴルータ-リークシグネチャを学習によって導出する。
論文 参考訳（メタデータ） (2026-06-16T04:40:04Z) - Progressive Tempering Sampler with Diffusion [50.06039228068602]
本研究では, 拡散モデルを温度にわたって逐次訓練するニューラルサンプリング器を提案する。
また, 高温拡散モデルを組み合わせて低温試料を近似的に生成する手法を提案する。
本手法は,拡散型ニューラルサンプリングよりも高い精度で目標評価効率を向上する。
論文 参考訳（メタデータ） (2025-06-05T16:46:04Z) - Warmup-Distill: Bridge the Distribution Mismatch between Teacher and Student before Knowledge Distillation [84.38105530043741]
本稿では, 学生の蒸留を教員の蒸留と整合させて, 蒸留に先立って行うワームアップ蒸留法を提案する。
7つのベンチマークの実験は、ウォームアップ・ディスティルが蒸留に適したウォームアップの学生を提供することを示した。
論文 参考訳（メタデータ） (2025-02-17T12:58:12Z) - Adaptive Inference-Time Compute: LLMs Can Predict if They Can Do Better, Even Mid-Generation [51.127054971591924]
本稿では,生成サンプル数を適応的に削減する新たな自己評価手法を提案する。
平均1.2サンプルだけで16サンプルの使用による改善の74%が達成できることを実証した。
論文 参考訳（メタデータ） (2024-10-03T17:47:29Z) - Predicting Overtakes in Trucks Using CAN Data [51.28632782308621]
CANデータからトラックの積載量の検出について検討する。
私たちの分析では、オーバーテイクイベントの最大10秒前をカバーしています。
我々は、オーバーテイク・トリガーに近づくと、オーバーテイク・クラスの予測スコアが増加する傾向にあることを観察する。
論文 参考訳（メタデータ） (2024-04-08T17:58:22Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳（メタデータ） (2022-07-13T14:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。