論文の概要: TGRL: Temperature-Grouped Reinforcement Learning for Efficient Exploration in LLMs

• arxiv url: http://arxiv.org/abs/2609.33589v1
• Date: Sun, 27 Sep 2026 14:06:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:28:15.233705
• Title: TGRL: Temperature-Grouped Reinforcement Learning for Efficient Exploration in LLMs
• Title（参考訳）: TGRL:LLMにおける効率的な探索のための温度群強化学習
• Abstract要約: 本稿では,温度群強化学習(TGRL)を提案する。 各プロンプトに対して、TGRLはロールアウトグループを低温および高温のサブセットに分割し、その報酬コントラストを通じて探索ゲインを推定し、このグループレベルの信号をトークンレベルクレジットとして割り当てる。 TGRLは、ロールアウト予算を拡大することなく、強力なRLVRベースラインよりも最大36%の精度に達する。
• 参考スコア（独自算出の注目度）: 62.823724078400865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient exploration often remains a central bottleneck in reinforcement learning with verifiable rewards (RLVR). Although temperature control and test-time scaling strategies can increase rollout diversity of large language models (LLMs), they either expand the sample budget at rollout time or leave the benefit of exploration unquantified. To this end, we propose Temperature-Grouped Reinforcement Learning (TGRL), which turns temperature-induced diversity into an explicit training signal. For each prompt, TGRL partitions its rollout group into low- and high-temperature subsets, estimates exploration gain through their reward contrast, and allocates this group-level signal as token-level credit using Jensen--Shannon (JS) divergence between the corresponding temperature-scaled next-token distributions induced by the same logits. Notably, TGRL reaches equivalent accuracy up to 36% faster than strong RLVR baselines without expanding the rollout budget. Across 11 benchmarks from diverse domains, TGRL broadly improves over strong RLVR baselines: it improves the six-benchmark math average by 1.6% at 32B, raises CodeForces rating by 196.7 points and LiveCodeBench Pass@16 by 4.4%, and improves ALFWorld/WebShop success rates by 6.3%/4.9%. Comprehensive ablations and wall-clock analysis confirm the efficacy of all proposed components. Code is available at https://github.com/1229095296/TGRL/tree/main.
• Abstract（参考訳）: 効率的な探索はしばしば、検証可能な報酬(RLVR)による強化学習において中心的なボトルネックとなっている。 温度制御とテストタイムスケーリング戦略は、大規模言語モデル(LLM)のロールアウトの多様性を高めることができるが、ロールアウト時にサンプル予算を拡大するか、探索の利益を残さないかのいずれかである。 そこで本研究では,温度群強化学習(TGRL)を提案する。 各プロンプトに対して、TGRLはロールアウトグループを低温サブセットと高温サブセットに分割し、その報酬コントラストを通じて探索ゲインを推定し、同じロジットによって誘導される対応する温度スケールの次トーケン分布間でのJensen-Shannon(JS)分散を用いて、このグループレベルの信号をトークンレベルクレジットとして割り当てる。 特にTGRLは、ロールアウト予算を拡大することなく、強力なRLVRベースラインよりも最大36%の精度に達する。 TGRLは、さまざまなドメインからの11のベンチマークにおいて、強力なRLVRベースラインよりも大幅に改善されている。6ベンチマークの数学平均を32Bで1.6%改善し、CodeForcesレーティングを196.7ポイント、LiveCodeBench Pass@16を4.4%向上し、ALFWorld/WebShop成功率を6.3%/4.9%向上する。 包括的改善と壁面解析により, 提案した全ての構成要素の有効性が確認された。 コードはhttps://github.com/1229095296/TGRL/tree/mainで入手できる。

関連論文リスト

• A Pinch of SFT, A Dash of RL: When Reinforcement Learning Helps Long-Horizon Advertising Agents [1.315432993699767]
  微調整ツール構文と教師支援行動の監視。 強化学習は、デモンストレーションを超えて報酬に支えられた振る舞いを探索することができる。 本研究では,SFT と RL のバランスをとる方法について検討する。
  論文  参考訳（メタデータ） (2026-08-29T20:43:28Z)
• Learning-Zone Energy: Online Data Selection for Efficient RL Post-Training [28.00739954235118]
  そこで本研究では,モデルにおけるアクティブな学習フロンティアに焦点をあてた,理論的基盤を持つ完全オンラインデータ選択フレームワークを提案する。 リプレイ付きフォワードプルーナーは、永続的に解決されたプロンプトのロールアウト生成をスキップすることで、ウォールクロック時間コストをさらに低減する。 我々の方法は1ステップあたりのトレーニングデータの40%しか保持しないが、完全なデータベースラインにマッチまたは超えている。
  論文  参考訳（メタデータ） (2026-05-16T14:01:12Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• Reward and Guidance through Rubrics: Promoting Exploration to Improve Multi-Domain Reasoning [79.365697698062]
  マルチドメイン推論のためのフレームワークである $textbfRGR-GRPO (Reward and Guidance through rubrics) を提案する。 RGR-GRPOは、代替の報酬スキームやオフラインガイダンスにのみ依存するRLメソッドよりも一貫して優れている。
  論文  参考訳（メタデータ） (2025-11-15T20:14:51Z)
• QeRL: Beyond Efficiency -- Quantization-enhanced Reinforcement Learning for LLMs [80.76334908639745]
  大規模言語モデル(LLM)のための量子化強化学習フレームワークQeRLを提案する。 QeRLは、NVFP4量子化とローランド適応(LoRA)を組み合わせた問題に対処する。 実験によると、QeRLはロールアウトフェーズで1.5倍以上のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-10-13T17:55:09Z)
• APRIL: Active Partial Rollouts in Reinforcement Learning to Tame Long-tail Generation [40.120847511378365]
  強化学習(RL)は、大規模事前訓練言語モデル(LLM)の進展の基盤となっている。 強化学習におけるアクティブ部分ロールアウト(APRIL)を提案する。 APRILはロールアウト要求をオーバープロビジョンし、ターゲットのレスポンス数が到達したら終了し、将来のステップで継続するために不完全なレスポンスをリサイクルする。
  論文  参考訳（メタデータ） (2025-09-23T01:32:36Z)
• RLPR: Extrapolating RLVR to General Domains without Verifiers [103.14103272635893]
  本稿では,RLVRを汎用ドメインに外挿するシンプルな検証不要なフレームワークであるRLPRを提案する。 このノイズの多い確率報酬の高分散に対処することが、それを機能させるためには不可欠である。 RLPRはGemma、Llama、Qwenベースのモデルの両方の領域における推論機能の改善を一貫して行っている。
  論文  参考訳（メタデータ） (2025-06-23T02:56:36Z)
• Reinforcement Learning for Reasoning in Large Language Models with One Training Example [117.86853102104256]
  1つのトレーニング例(1ショットRLVR)を用いた強化学習は,大規模言語モデル(LLM)の算数推論能力の向上に有効であることを示す。 1ショットRLVRにおける興味深い現象として、クロスカテゴリの一般化、自己回帰の頻度の増加、テスト性能の向上の持続などを挙げる。
  論文  参考訳（メタデータ） (2025-04-29T09:24:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。