論文の概要: UloRL:An Ultra-Long Output Reinforcement Learning Approach for Advancing Large Language Models' Reasoning Abilities
- arxiv url: http://arxiv.org/abs/2507.19766v1
- Date: Sat, 26 Jul 2025 03:42:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:56.171923
- Title: UloRL:An Ultra-Long Output Reinforcement Learning Approach for Advancing Large Language Models' Reasoning Abilities
- Title（参考訳）: UloRL:大規模言語モデルの推論能力向上のための超長期出力強化学習手法
- Authors: Dong Du, Shulin Liu, Tao Yang, Shaohua Chen, Yang Li,
- Abstract要約: 大規模言語モデルの推論能力を向上させるために,UloRL(Ultra-Long Output Reinforcement Learning)アプローチを提案する。
具体的には、超長出力復号を短いセグメントに分割し、長いテールサンプルによる遅延を軽減し、効率的なトレーニングを可能にする。
- 参考スコア（独自算出の注目度）: 9.406890517334196
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in large language models (LLMs) have highlighted the potential of reinforcement learning with verifiable rewards (RLVR) to enhance reasoning capabilities through extended output sequences. However, traditional RL frameworks face inefficiencies when handling ultra-long outputs due to long-tail sequence distributions and entropy collapse during training. To address these challenges, we propose an Ultra-Long Output Reinforcement Learning (UloRL) approach for advancing large language models' reasoning abilities. Specifically, we divide ultra long output decoding into short segments, enabling efficient training by mitigating delays caused by long-tail samples. Additionally, we introduce dynamic masking of well-Mastered Positive Tokens (MPTs) to prevent entropy collapse. Experimental results demonstrate the effectiveness of our approach. On the Qwen3-30B-A3B model, RL with segment rollout achieved 2.06x increase in training speed, while RL training with 128k-token outputs improves the model's performance on AIME2025 from 70.9\% to 85.1\% and on BeyondAIME from 50.7\% to 61.9\%, even surpassing Qwen3-235B-A22B with remarkable gains. These findings underscore the potential of our methods to advance the reasoning capabilities of LLMs with ultra-long sequence generation. We will release our code and model for further use by the community.
- Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、拡張出力シーケンスによる推論能力を高めるために、検証可能な報酬(RLVR)を用いた強化学習の可能性を強調している。
しかし、従来のRLフレームワークは、長い尾のシーケンス分布とトレーニング中のエントロピー崩壊による超長期出力を扱う際に非効率である。
これらの課題に対処するため,大言語モデルの推論能力を向上させるために,UloRL(Ultra-Long Output Reinforcement Learning)アプローチを提案する。
具体的には、超長出力復号を短いセグメントに分割し、長いテールサンプルによる遅延を軽減し、効率的なトレーニングを可能にする。
さらに,エントロピー崩壊を防止するために,MPT( well-Mastered Positive Tokens)の動的マスキングを導入する。
実験により,本手法の有効性が示された。
Qwen3-30B-A3Bモデルでは、セグメントロールアウトのRLはトレーニング速度を2.06倍に向上し、128kトーケン出力のRLトレーニングでは、AIME2025では70.9\%から85.1\%に、BeyondAIMEでは50.7\%から61.9\%に向上し、Qwen3-235B-A22Bを抜いた。
これらの知見は,超長期シーケンス生成によるLCMの推論能力を向上する手法の可能性を明らかにするものである。
コミュニティによるさらなる利用のために、コードとモデルをリリースします。
関連論文リスト
- Scaling Up RL: Unlocking Diverse Reasoning in LLMs via Prolonged Training [121.5858973157225]
本研究では,長期強化学習が多種多様な推論領域にまたがる小言語モデルに及ぼす影響について検討する。
我々は,長期的パフォーマンス向上の鍵となる重要な要素として,制御KL正規化,クリッピング率,定期参照ポリシーリセットを導入する。
私たちのモデルは、数学の+14.7%、コーディングの+13.9%、論理パズルの+54.8%など、強力なベースラインよりも大幅に改善されている。
論文 参考訳（メタデータ） (2025-07-16T17:59:24Z) - DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation [68.19756761027351]
拡散大言語モデル(dLLM)は自己回帰(AR)モデルの魅力的な代替品である。
本研究は,それらの認知過程と強化学習手法について考察する。
我々の研究は、dLLM生成のメカニズムについて深い洞察を与え、効果的な拡散ネイティブなRLトレーニングフレームワークを提供します。
論文 参考訳（メタデータ） (2025-06-25T17:35:47Z) - Through the Valley: Path to Effective Long CoT Training for Small Language Models [9.673301245621802]
ロングチェーン・オブ・思想(CoT)の監督は、言語モデルにおける推論を強化する共通の戦略となっている。
私たちはLong CoT Degradationと呼ぶ現象を特定し、小さな言語モデル(SLM)が限られた長いCoTデータでトレーニングされた場合、性能が著しく低下する。
論文 参考訳（メタデータ） (2025-06-09T12:56:41Z) - TL;DR: Too Long, Do Re-weighting for Efficient LLM Reasoning Compression [55.37723860832064]
高度なデータアノテーションに依存しない動的比に基づくトレーニングパイプラインを提案する。
我々は、DeepSeek-R1-Distill-7BとDeepSeek-R1-Distill-14Bのモデルと、様々な難易度を持つ様々なベンチマークのモデルに対するアプローチを検証する。
論文 参考訳（メタデータ） (2025-06-03T09:23:41Z) - Dimple: Discrete Diffusion Multimodal Large Language Model with Parallel Decoding [53.82301522384719]
Dimple, the first Discrete Multimodal Large Language Model (DMLLM)を提案する。
我々は,初期自己回帰フェーズとその後の拡散フェーズを組み合わせた新しい訓練パラダイムを設計する。
Dimple-7BはLLaVA-を3.9%上回り、DMLLMは自己回帰モデルに匹敵する性能を達成できることを示した。
論文 参考訳（メタデータ） (2025-05-22T17:55:04Z) - AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。
まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
論文 参考訳（メタデータ） (2025-05-22T08:50:47Z) - Learn to Reason Efficiently with Adaptive Length-based Reward Shaping [23.626013831589212]
大規模共振モデル(LRM)は、強化学習(RL)を通して複雑な問題を解く際、顕著な能力を示した。
本稿では,長さに基づく報酬形成のレンズを用いて,様々な効率的な推論手法を定式化する統一フレームワークを提案する。
DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-32Bの実験により、本手法は推論性能と応答長の効率を大幅に向上させることが示された。
論文 参考訳（メタデータ） (2025-05-21T15:03:26Z) - Why Does the Effective Context Length of LLMs Fall Short? [68.34573617977013]
本稿では,SifTed Rotray 位置埋め込み (STRING) について紹介する。
ストリングは、トレーニング中の元の非効率な位置を上書きするために、よく訓練された位置をシフトし、既存のトレーニング期間内でのパフォーマンスを向上させる。
実験結果から, STRINGは最新の大規模モデルの性能を劇的に向上させることがわかった。
論文 参考訳（メタデータ） (2024-10-24T13:51:50Z) - Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG [36.754491649652664]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)に外部の知識ソースを利用する権限を与える。
本稿では, 回収した「ハードネガティブ」の有害な影響について考察する。
これを緩和し、長文LLMベースのRAGの堅牢性を高めるために、トレーニングフリーとトレーニングベースの両方のアプローチを提案する。
論文 参考訳（メタデータ） (2024-10-08T12:30:07Z) - ESRL: Efficient Sampling-based Reinforcement Learning for Sequence
Generation [43.506732624371786]
本稿では,RLを用いたトレーニングシーケンス生成モデルにおいて,サンプリング効率を向上させるための2段階サンプリング手法と動的サンプリング手法を提案する。
実験結果から,ESRLと呼ばれる効率的なサンプリングベースRLは,トレーニング効率とメモリ消費の両方の観点から,すべてのベースラインを上回り得ることが示された。
論文 参考訳（メタデータ） (2023-08-04T09:35:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。