論文の概要: An Empirical Study on Eliciting and Improving R1-like Reasoning Models
- arxiv url: http://arxiv.org/abs/2503.04548v1
- Date: Thu, 06 Mar 2025 15:34:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-07 17:59:00.904108
- Title: An Empirical Study on Eliciting and Improving R1-like Reasoning Models
- Title（参考訳）: R1ライクな推論モデルの作成と改善に関する実証的研究
- Authors: Zhipeng Chen, Yingqian Min, Beichen Zhang, Jie Chen, Jinhao Jiang, Daixuan Cheng, Wayne Xin Zhao, Zheng Liu, Xu Miao, Yang Lu, Lei Fang, Zhongyuan Wang, Ji-Rong Wen,
- Abstract要約: RLトレーニングのスケーリングは、そのような推論モデルを実装するための中心的なテクニックとなっている。
我々のRLトレーニングアプローチはQwen2.5-32Bベースモデルを継続的に改善することを示した。
また、ツール操作の利用についても検討し、大きな推論モデルの推論性能を大幅に向上させることを見出した。
- 参考スコア（独自算出の注目度）: 90.52239241349504
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this report, we present the third technical report on the development of slow-thinking models as part of the STILL project. As the technical pathway becomes clearer, scaling RL training has become a central technique for implementing such reasoning models. We systematically experiment with and document the effects of various factors influencing RL training, conducting experiments on both base models and fine-tuned models. Specifically, we demonstrate that our RL training approach consistently improves the Qwen2.5-32B base models, enhancing both response length and test accuracy. Furthermore, we show that even when a model like DeepSeek-R1-Distill-Qwen-1.5B has already achieved a high performance level, it can be further refined through RL training, reaching an accuracy of 39.33% on AIME 2024. Beyond RL training, we also explore the use of tool manipulation, finding that it significantly boosts the reasoning performance of large reasoning models. This approach achieves a remarkable accuracy of 86.67% with greedy search on AIME 2024, underscoring its effectiveness in enhancing model capabilities. We release our resources at the STILL project website: https://github.com/RUCAIBox/Slow_Thinking_with_LLMs.
- Abstract（参考訳）: 本稿では,STILLプロジェクトの一環として,スロー思考モデルの開発に関する第3回技術報告を紹介する。
技術パスが明確になるにつれて、RLトレーニングのスケーリングは、そのような推論モデルを実装するための中心的な技術となっている。
基礎モデルと微調整モデルの両方で実験を行い,RLトレーニングに影響を与える様々な要因を系統的に実験し,その効果を実証した。
具体的には、我々のRLトレーニングアプローチがQwen2.5-32Bベースモデルを一貫して改善し、応答長とテスト精度を向上することを示した。
さらに、DeepSeek-R1-Distill-Qwen-1.5Bのようなモデルが既に高い性能を達成している場合でも、RLトレーニングによってさらに洗練され、AIME 2024で精度39.33%に達することを示す。
RLトレーニング以外にも、ツール操作の使用についても検討し、大きな推論モデルの推論性能を大幅に向上させることを発見した。
このアプローチは、AIME 2024の欲求検索で86.67%の精度を達成し、モデル能力の強化効果を裏付けている。
https://github.com/RUCAIBox/Slow_Thinking_with_LLMs。
関連論文リスト
- Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [67.30809748319486]
RLVR(Reinforcement Learning with Verifiable Rewards)は近年,LLMの推論能力の向上に成功している。
我々は、この仮定を再検討し、pass@textitkメトリックを大量のtextitk値で測定し、モデルの推論能力境界を探索する。
我々は、RLがエノノット、事実、根本的に新しい推論パターンを誘発することを発見した。
論文 参考訳（メタデータ） (2025-04-18T17:59:56Z) - Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。
数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
論文 参考訳（メタデータ） (2025-04-10T17:15:53Z) - Understanding R1-Zero-Like Training: A Critical Perspective [38.515771096651356]
ベースモデルとRLの2つのコアコンポーネントを分析し,R1-Zeroライクなトレーニングを批判的に検討した。
本稿では,DeepSeek-V3-Baseを含む幅広いベースモデルについて検討し,事前学習特性がRL性能に与える影響について考察する。
AIME 2024では7Bベースモデルで43.3%の精度を達成できる最小限のR1-Zeroレシピを提案する。
論文 参考訳（メタデータ） (2025-03-26T17:59:14Z) - LIMR: Less is More for RL Scaling [25.477841726836836]
学習影響測定(Learning Impact Measurement, LIM)は, 学習サンプルを評価・優先順位付けする自動手法である。
提案手法は,1,389個のサンプルと8,523個のサンプルの完全なデータセットとを比較して,同等あるいは優れた性能を実現する。
再現可能な研究と今後のイノベーションのために、LIMRをオープンソース化しています。LIMRの実装、トレーニングと評価コード、キュレートされたデータセット、トレーニングされたモデルなどです。
論文 参考訳（メタデータ） (2025-02-17T15:13:29Z) - Enhancing Knowledge Distillation for LLMs with Response-Priming Prompting [1.9461727843485295]
そこで本研究では,学生モデルの性能向上のための新しい応答プライシング手法を提案する。
Llama 3.1 405B 教師モデルから知識を抽出し,より小さな Llama 3.1 8B 教師モデルを微調整する。
その結果, 蒸留したLlama 3.1 8BインストラクトのGSM8Kは55%向上した。
論文 参考訳（メタデータ） (2024-12-18T20:41:44Z) - Does RLHF Scale? Exploring the Impacts From Data, Model, and Method [83.53178716807776]
本研究では,大規模言語モデルにおける人間のフィードバックからの強化学習のスケーリング特性について検討する。
RLHFフレームワークの主要なコンポーネント、モデルサイズ、データ構成、推論予算、およびそれらのパフォーマンスへの影響を分析します。
論文 参考訳（メタデータ） (2024-12-08T17:19:48Z) - RLInspect: An Interactive Visual Approach to Assess Reinforcement Learning Algorithm [0.0]
強化学習(Reinforcement Learning, RL)は、機械学習の急速に成長する分野である。
RLモデルを評価することは困難であり、その振る舞いを理解するのが難しくなる。
我々はインタラクティブな視覚分析ツールであるRLInspectを開発した。
RLモデルのさまざまなコンポーネント - 状態、アクション、エージェントアーキテクチャ、報酬 - を考慮しており、RLトレーニングのより包括的なビューを提供する。
論文 参考訳（メタデータ） (2024-11-13T07:24:14Z) - Scaling Offline Model-Based RL via Jointly-Optimized World-Action Model Pretraining [49.730897226510095]
我々は,60億のトークンデータを持つアタリゲーム上で事前訓練されたオフラインモデルベースRLエージェントであるJOWA: Jointly-Reinforceed World-Action Modelを紹介する。
われわれの最大のエージェントは、1億5000万のパラメータを持ち、10%のサブサンプルオフラインデータだけで事前トレーニングされたゲーム上での人間レベルのパフォーマンス78.9%で、既存の最先端の大規模なオフラインRLベースラインを31.6%上回っている。
論文 参考訳（メタデータ） (2024-10-01T10:25:03Z) - Enhancing Analogical Reasoning in the Abstraction and Reasoning Corpus via Model-Based RL [6.143939145442195]
モデルに基づく強化学習は類推的推論の課題に適した手法であることを示す。
モデルベースRL法であるDreamerV3とモデルフリーRL法であるProximal Policy Optimizationを比較した。
この結果から,モデルベースRLはモデルフリーのRLよりも,単一タスクからの学習や一般化に優れるだけでなく,類似タスク間の推論において大きな優位性を示すことがわかった。
論文 参考訳（メタデータ） (2024-08-27T08:15:20Z) - Learning to Prune Deep Neural Networks via Reinforcement Learning [64.85939668308966]
PuRLは、ニューラルネットワークのプルーニングのためのディープ強化学習ベースのアルゴリズムである。
現在の最先端の手法に匹敵する幅と精度を実現している。
論文 参考訳（メタデータ） (2020-07-09T13:06:07Z) - Stealing Deep Reinforcement Learning Models for Fun and Profit [33.64948529132546]
本稿では,Deep Reinforcement Learning (DRL) に対する最初のモデル抽出攻撃を提案する。
これにより、外部の敵は環境との相互作用からのみブラックボックスDRLモデルを正確に回復することができる。
論文 参考訳（メタデータ） (2020-06-09T03:24:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。