論文の概要: Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization

• arxiv url: http://arxiv.org/abs/2508.07629v1
• Date: Mon, 11 Aug 2025 05:17:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.953023
• Title: Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization
• Title（参考訳）: Klear-Reasoner: 勾配保存クリッピングポリシ最適化による推論能力の向上
• Authors: Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Wenping Hu, Guorui Zhou,
• Abstract要約: Klear-Reasonerは、長い推論能力を持つモデルで、問題解決時に慎重に検討する。 本報告では、学習後のワークフロー全体を網羅した推論モデルの詳細分析を行う。
• 参考スコア（独自算出の注目度）: 8.995655573728529
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Klear-Reasoner, a model with long reasoning capabilities that demonstrates careful deliberation during problem solving, achieving outstanding performance across multiple benchmarks. Although there are already many excellent works related to inference models in the current community, there are still many problems with reproducing high-performance inference models due to incomplete disclosure of training details. This report provides an in-depth analysis of the reasoning model, covering the entire post-training workflow from data preparation and long Chain-of-Thought supervised fine-tuning (long CoT SFT) to reinforcement learning (RL), along with detailed ablation studies for each experimental component. For SFT data, our experiments show that a small number of high-quality data sources are more effective than a large number of diverse data sources, and that difficult samples can achieve better results without accuracy filtering. In addition, we investigate two key issues with current clipping mechanisms in RL: Clipping suppresses critical exploration signals and ignores suboptimal trajectories. To address these challenges, we propose Gradient-Preserving clipping Policy Optimization (GPPO) that gently backpropagates gradients from clipped tokens. GPPO not only enhances the model's exploration capacity but also improves its efficiency in learning from negative samples. Klear-Reasoner exhibits exceptional reasoning abilities in mathematics and programming, scoring 90.5\% on AIME 2024, 83.2\% on AIME 2025, 66.0\% on LiveCodeBench V5 and 58.1\% on LiveCodeBench V6.
• Abstract（参考訳）: Klear-Reasonerは、長い推論能力を持つモデルで、問題解決中に慎重に検討し、複数のベンチマークで優れたパフォーマンスを達成する。 現在のコミュニティには推論モデルに関する優れた研究が数多く存在するが、トレーニングの詳細が不完全であることが原因で、高性能推論モデルを再現する上ではまだ多くの問題がある。 本報告では、データ準備と長時間のチェーン・オブ・ソートによる微調整(長いCoT SFT)から強化学習(RL)まで、学習後のワークフロー全体を網羅した推論モデルを詳細に分析し、各実験成分について詳細なアブレーション研究を行った。 SFTデータでは,少数の高品質なデータソースが多種多様なデータソースよりも有効であり,高精度なフィルタリングを行なわずにより良い結果が得られることを示す。 クリッピングは重要な探索信号を抑制し, 最適軌道を無視する。 これらの課題に対処するために,クリッピングトークンからの勾配を緩やかにバックプロパゲートするGPPO(Gradient-Preserving clipping Policy Optimization)を提案する。 GPPOはモデルの探索能力を高めるだけでなく、負のサンプルから学習する際の効率も向上する。 Klear-Reasoner は数学とプログラミングにおいて例外的な推論能力を示し、AIME 2024 では 90.5 %、AIME 2025 では 83.2 %、LiveCodeBench V5 では 66.0 %、LiveCodeBench V6 では 58.1 % である。

関連論文リスト

• InfiAlign: A Scalable and Sample-Efficient Framework for Aligning LLMs to Enhance Reasoning Capabilities [27.09178257629886]
  InfiAlignは、大規模言語モデル(LLM)のためのスケーラブルでサンプル効率の良いポストトレーニングフレームワークである InfiAlignの中核は、オープンソースの推論から高品質なアライメントデータを自動的にキュレートする堅牢なデータ選択パイプラインである。 本結果は,基本データ選択とフルステージポストトレーニングの併用の有効性を強調した。
  論文  参考訳（メタデータ） (2025-08-07T15:34:06Z)
• LearnAlign: Reasoning Data Selection for Reinforcement Learning in Large Language Models Based on Improved Gradient Alignment [14.655048266761783]
  強化学習(Reinforcement Learning, RL)は、LLMの推論能力を高めるための重要な技術となっているが、そのデータ非効率性は依然として大きなボトルネックとなっている。 本稿では、RL後学習のための学習可能および代表的トレーニング推論データを知的に選択するLearnerAlignを提案する。 3つの数学的推論ベンチマークによる実験により,本手法はトレーニングデータ要求を大幅に低減することが示された。
  論文  参考訳（メタデータ） (2025-06-13T06:05:58Z)
• OpenCodeReasoning: Advancing Data Distillation for Competitive Coding [61.15402517835137]
  教師付き微調整(SFT)データセットを構築し、様々なサイズのモデルで最先端のコーディング能力を実現する。 私たちのモデルは、LiveCodeBenchで61.8%、CodeContestsで24.6%を達成するためにSFTのみを使用しており、強化学習でトレーニングされた代替品を上回っています。
  論文  参考訳（メタデータ） (2025-04-02T17:50:31Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
  本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。 複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
  論文  参考訳（メタデータ） (2023-08-03T15:34:01Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。