論文の概要: Surrogate Signals from Format and Length: Reinforcement Learning for Solving Mathematical Problems without Ground Truth Answers

• arxiv url: http://arxiv.org/abs/2505.19439v3
• Date: Mon, 02 Jun 2025 03:24:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 13:48:29.985639
• Title: Surrogate Signals from Format and Length: Reinforcement Learning for Solving Mathematical Problems without Ground Truth Answers
• Title（参考訳）: ホルマトと長さからのサロゲート信号:地上の真理応答を伴わない数学的問題を解くための強化学習
• Authors: Rihui Xin, Han Liu, Zecheng Wang, Yupeng Zhang, Dianbo Sui, Xiaolin Hu, Bingning Wang,
• Abstract要約: 本研究は,代用信号として形式と長さを応用し,数学的問題解決のためにLLMを訓練するものである。 本研究は,形式的正当性のみに着目した報奨関数が,初期の標準GRPOアルゴリズムに匹敵する性能向上をもたらすことを示す。 その結果、フォーマット長のサロゲート信号を利用するGRPOアプローチは、マッチするだけでなく、標準のGRPOアルゴリズムの性能を上回る。
• 参考スコア（独自算出の注目度）: 24.934432751910443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models have achieved remarkable success in natural language processing tasks, with Reinforcement Learning playing a key role in adapting them to specific applications. However, obtaining ground truth answers for training LLMs in mathematical problem-solving is often challenging, costly, and sometimes unfeasible. This research delves into the utilization of format and length as surrogate signals to train LLMs for mathematical problem-solving, bypassing the need for traditional ground truth answers. Our study shows that a reward function centered on format correctness alone can yield performance improvements comparable to the standard GRPO algorithm in early phases. Recognizing the limitations of format-only rewards in the later phases, we incorporate length-based rewards. The resulting GRPO approach, leveraging format-length surrogate signals, not only matches but surpasses the performance of the standard GRPO algorithm relying on ground truth answers in certain scenarios, achieving 40.0% accuracy on AIME2024 with a 7B base model. Through systematic exploration and experimentation, this research not only offers a practical solution for training LLMs to solve mathematical problems and reducing the dependence on extensive ground truth data collection, but also reveals the essence of why our label-free approach succeeds: the powerful base model is like an excellent student who has already mastered mathematical and logical reasoning skills, but performs poorly on the test paper, it simply needs to develop good answering habits to achieve outstanding results in exams, to unlock the capabilities it already possesses.
• Abstract（参考訳）: 大規模言語モデルは自然言語処理タスクにおいて顕著な成功を収めており、強化学習は特定のアプリケーションに適応する上で重要な役割を担っている。 しかし、数学的問題解決においてLLMを訓練するための基礎的な真理の答えを得ることは、しばしば困難であり、コストがかかり、時には不可能である。 この研究は、数学的な問題解決のためにLLMを訓練するための代用信号としてフォーマットと長さを活用することで、従来の基底真理解の必要性を回避している。 本研究は,形式的正当性のみに着目した報奨関数が,初期の標準GRPOアルゴリズムに匹敵する性能向上をもたらすことを示す。 後段の形式のみの報酬の制限を認識し、長さに基づく報酬を組み込む。 その結果、フォーマット長のサロゲート信号を利用するGRPOアプローチは、7BベースモデルでAIME2024上で40.0%の精度を達成し、マッチするだけでなく、特定のシナリオにおける基底真理解に依存する標準GRPOアルゴリズムの性能を上回ります。 この研究は、体系的な探索と実験を通じて、数学的問題の解決と広範囲な真実データ収集への依存を減らすためにLCMを訓練するための実践的な解決策を提供するだけでなく、我々のラベルなしアプローチが成功した理由の本質を明らかにしている。

関連論文リスト

• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Exploring RL-based LLM Training for Formal Language Tasks with Programmed Rewards [49.7719149179179]
  本稿では,PPOを用いた強化学習(RL)の実現可能性について検討する。 我々は,生成した出力の質を自動的に評価するために,明示的な報酬関数をプログラムできるプログラミングなどの形式言語で表されるタスクに焦点をあてる。 以上の結果から,2つの形式言語タスクに対する純粋なRLベースのトレーニングは困難であり,単純な算術タスクにおいても成功は限られていることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T15:59:58Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)
• FiDeLiS: Faithful Reasoning in Large Language Model for Knowledge Graph Question Answering [46.41364317172677]
  大規模言語モデル(LLM)は、しばしば誤ったあるいは幻覚的な応答を生成することで挑戦される。 本稿では,知識グラフから得られた検証可能な推論ステップに回答を固定することで,LLM応答の事実性を改善するための統合フレームワークFiDeLiSを提案する。 トレーニング不要のフレームワークである本手法は,性能の向上だけでなく,異なるベンチマークにおける現実性や解釈可能性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-05-22T17:56:53Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。