Fugu-MT 論文翻訳(概要): Enhancing Math Reasoning in Small-sized LLMs via Preview Difficulty-Aware Intervention

論文の概要: Enhancing Math Reasoning in Small-sized LLMs via Preview Difficulty-Aware Intervention

arxiv url: http://arxiv.org/abs/2508.01604v1
Date: Sun, 03 Aug 2025 05:41:36 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-05 18:25:21.965429
Title: Enhancing Math Reasoning in Small-sized LLMs via Preview Difficulty-Aware Intervention
Title（参考訳）: プレファレンシャル・アウェア・インターベンションによる小型LDMにおける数学推論の強化
Authors: Xinhan Di, JoyJiaoW,
Abstract要約: 最先端のLLMの技術的な詳細は未公表のままである。我々はオープンソースのGRPOフレームワーク上に構築されたEPRLI(Early Preview Reinforcement Learning)アルゴリズムから研究を開始する。 AIME24では50.0%,Math500では89.2%,AMCでは77.1%,Minervaでは35.3%,OBenchでは51.9%であった。
参考スコア（独自算出の注目度）: 2.850097504458451
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reinforcement learning scaling enhances the reasoning capabilities of large language models, with reinforcement learning serving as the key technique to draw out complex reasoning. However, key technical details of state-of-the-art reasoning LLMs, such as those in the OpenAI O series, Claude 3 series, DeepMind's Gemini 2.5 series, and Grok 3 series, remain undisclosed, making it difficult for the research community to replicate their reinforcement learning training results. Therefore, we start our study from an Early Preview Reinforcement Learning (EPRLI) algorithm built on the open-source GRPO framework, incorporating difficulty-aware intervention for math problems. Applied to a 1.5B-parameter LLM, our method achieves 50.0% on AIME24, 89.2% on Math500, 77.1% on AMC, 35.3% on Minerva, and 51.9% on OBench, superpass O1-Preview and is comparable to O1-mini within standard school-lab settings.
Abstract（参考訳）: 強化学習のスケーリングは、大規模言語モデルの推論能力を高め、強化学習が複雑な推論を引き出す鍵となる技術である。しかし、OpenAI Oシリーズ、Claude 3シリーズ、DeepMindのGemini 2.5シリーズ、Grok 3シリーズといった最先端のLCMの技術的な詳細は明らかになっていないため、研究コミュニティは強化学習訓練結果の再現を困難にしている。そこで我々は,オープンソースのGRPOフレームワーク上に構築されたEPRLI(Early Preview Reinforcement Learning)アルゴリズムから,数学問題に対する難解な介入を取り入れた研究を開始した。 1.5Bパラメータ LLM に適用すると,AIME24 で 50.0%,Math500 で 89.2%,AMC で 77.1%,Minerva で 35.3%,OBench で 51.9%,O1-Preview で O1-mini に匹敵する。

関連論文リスト

QuestA: Expanding Reasoning Capacity in LLMs via Question Augmentation [23.385267989706]
強化学習(RL)は、大規模言語推論モデル(LLM)の訓練において重要な要素となっている。本稿では,問題の難易度を低減し,より情報的な学習信号を提供するため,質問増補による簡易かつ効果的な戦略を提案する。我々の方法であるQuestAは、数学推論タスクにおけるRLトレーニングで適用された場合、pass@1だけでなくpass@kも改善する。
論文参考訳（メタデータ） (2025-07-17T16:21:47Z)
Teaching LLM to Reason: Reinforcement Learning from Algorithmic Problems without Code [76.80306464249217]
本稿では,LLMにより良い理性を教えることを目的としたTeaRを提案する。 TeaRは、注意深いデータキュレーションと強化学習を活用して、コード関連のタスクを通じて最適な推論パスを発見するモデルをガイドする。我々は、2つのベースモデルと3つの長いCoT蒸留モデルを用いて広範な実験を行い、モデルのサイズは15億から32億のパラメータから、Math、Knowledge、Code、Logical Reasoningにまたがる17のベンチマークにまたがる。
論文参考訳（メタデータ） (2025-07-10T07:34:05Z)
How Difficulty-Aware Staged Reinforcement Learning Enhances LLMs' Reasoning Capabilities: A Preliminary Experimental Study [16.441081996257576]
本稿では,難易度の高い強化学習戦略が推論性能を大幅に向上させる方法について,厳密な実験的検討を行った。本研究は,RLの最適化を著しく向上させることを特徴とする,明確な難易度に応じて,戦略的にトレーニングデータを選択することを示す。私たちはデータセットをGitHubとHugging Faceでオープンソース化します。
論文参考訳（メタデータ） (2025-04-01T14:18:38Z)
Reinforcement Learning for Reasoning in Small LLMs: What Works and What Doesn't [0.0]
小型言語モデル(LLM)における強化学習による推論改善の可能性について検討した。 24時間以内に4つのNVIDIA A40 GPU(それぞれ48GB VRAM)をトレーニングした結果、素早い推論が向上した。これらの結果から, 小型LLMに対するRLを用いた微調整の有効性が明らかとなり, 大規模アプローチに対する費用対効果が示唆された。
論文参考訳（メタデータ） (2025-03-20T15:13:23Z)
R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
論文参考訳（メタデータ） (2025-03-07T17:14:44Z)
Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time Scaling [69.57918638435491]
テスト時間スケーリングは、大規模言語モデルの性能を向上させる重要な方法である。異なるポリシーモデル、PRM、問題の難易度にまたがってテスト時間計算をスケールするための最適なアプローチは何か? 計算-最適TS戦略により、非常に小さなポリシーモデルがより大きなモデルより優れていることを示す。
論文参考訳（メタデータ） (2025-02-10T17:30:23Z)
Kimi k1.5: Scaling Reinforcement Learning with LLMs [84.95584393629998]
我々は、強化学習で訓練された最新のマルチモーダル言語モデル、Kimi k1.5の訓練実践について報告する。長いコンテキストスケーリングと改善されたポリシー最適化手法が、我々のアプローチの鍵となる要素である。本システムは,複数のベンチマークやモダリティに対して,最先端の推論性能を実現する。
論文参考訳（メタデータ） (2025-01-22T02:48:14Z)
T1: Advancing Language Model Reasoning through Reinforcement Learning and Inference Scaling [52.34735382627312]
大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な能力を示した。既存のアプローチは主に、効果的なテストタイムスケーリングを達成するために、模倣学習と苦労に依存しています。我々は、探索を奨励し、推論スケーリングを理解することで、強化学習をスケールするためにT1を提案する。
論文参考訳（メタデータ） (2025-01-20T18:33:33Z)
Building Math Agents with Multi-Turn Iterative Preference Learning [56.71330214021884]
本稿では,モデル性能をさらに向上させるために,補完的な直接選好学習手法について検討する。既存の直接選好学習アルゴリズムは、もともとシングルターンチャットタスク用に設計されている。この文脈に合わせたマルチターン直接選好学習フレームワークを提案する。
論文参考訳（メタデータ） (2024-09-04T02:41:04Z)
MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文参考訳（メタデータ） (2024-05-25T15:07:33Z)
Remember what you did so you know what to do next [10.526351131118096]
我々は,初等科学実験のためのテキストゲームシミュレータであるScienceWorldにおいて,シミュレーションロボットが30の目標を達成する計画を立てる。実験の結果、30種類のアクションに対して、パフォーマンスが広範囲に分散していることが示され、タスクに対する平均化が重大なパフォーマンス上の問題を隠蔽する可能性が示唆された。
論文参考訳（メタデータ） (2023-10-30T19:29:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。