論文の概要: Question Begets Question: Self-Evolving Curriculum for Reinforcement Fine-Tuning on Competition Mathematics

• arxiv url: http://arxiv.org/abs/2608.01522v1
• Date: Sun, 02 Aug 2026 22:19:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.265282
• Title: Question Begets Question: Self-Evolving Curriculum for Reinforcement Fine-Tuning on Competition Mathematics
• Title（参考訳）: 質問に答える: 競争数学の強化のための自己進化カリキュラム
• Abstract要約: トレーニングデータは乏しく、地道的な推論の痕跡は通常利用できないため、モデルはしばしば、追加のデータが更なる改善をもたらすことのない、明らかな天井を示す。 コンペティション数学(AIME)におけるQwen2.5-Math-7Bを微調整した制御環境でのこれらの困難について検討する。 本稿では,各ラウンドで現在のチェックポイントの評価を行い,その問題からQbQの種を抽出し,その結果の変種を学習する自己進化カリキュラムを提案する。
• 参考スコア（独自算出の注目度）: 4.56953073429622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Teaching a language model a skill it has not mastered is obstructed by three recurring difficulties: training data is scarce, ground-truth reasoning traces are usually unavailable, and models often exhibit an apparent ceiling beyond which additional data yields no further improvement. We study these difficulties in a controlled setting, fine-tuning Qwen2.5-Math-7B on competition mathematics (AIME), a task on which it initially solves only 5.6\% of problems (pass@1). To address data scarcity, we introduce Question-begets-Question (QbQ), a scalable procedure in which a teacher transforms existing problems into diverse variants that probe the same underlying skills; to model the absence of oracle reasoning, we train exclusively via reinforcement learning on problem statements and final answers, never on teacher reasoning traces. Static training on such data, however, plateaus well short of the task: real-plus-synthetic augmentation and non-curriculum QbQ generated synthetic data training cap pass@1 at 12.5\% and 14.5\% respectively, despite large increases in data. Our central finding is that this ceiling is not intrinsic to the model. We propose a self-evolving curriculum that, each round, evaluates the current checkpoint, seeds QbQ from the problems it can mostly get right, and trains on the resulting variants; under an identical data budget, this breaks the ceiling and lifts pass@1 to 16.5\% with no sign of saturation after 20 rounds. Counterintuitively, we find that models improve when trained on variants of problems they can mostly get right, and that models trained this way go on to solve harder problems never seen during training.
• Abstract（参考訳）: トレーニングデータが少ないこと、地道的な推論トレースが通常利用できないこと、追加のデータが更なる改善をもたらすことのない、明らかな天井を示すこと、の3つの困難によって、習得されていないスキルが妨げられている。 コンペティション数学(AIME)におけるQwen2.5-Math-7Bを微調整した制御環境でこれらの困難について検討する。 データ不足に対処するために、教師が既存の問題を様々な変種に変換し、同じスキルを探索するスケーラブルな方法であるQbQを導入する。 しかし、これらのデータに対する静的なトレーニングは、データの増加にもかかわらず、実数+合成量の増大と、QbQが生成した合成データトレーニングキャップパス@1を12.5\%および14.5\%でそれぞれ生成する。 私たちの中心的な発見は、この天井はモデルに固有のものではないということです。 筆者らは,各ラウンドで現在のチェックポイントを評価し,その問題からシードQbQを抽出し,結果の変種を訓練する自己進化型カリキュラムを提案し,同じデータ予算の下で天井を破って,20ラウンド後の飽和の兆候なくパス@1〜16.5\%を持ち上げる。 直感的に言えば、モデルは主に正しい問題で訓練された時に改善され、この方法で訓練されたモデルは、トレーニング中に見たことのない難しい問題に対処する。

関連論文リスト

• Three Concrete Challenges and Two Hopes for the Safety of Unsupervised Elicitation [2.5107780917370985]
  評価に使用されるデータセットは過度に最適化評価結果をもたらす可能性があると我々は主張する。 多くの現実世界のデータセットとは異なり、それらには真実性よりもサリエンスな特徴がないことが多い。 これらの特性を欠いたデータセットを構築し、標準的教師なし推論と容易にハードな一般化手法をストレステストする。
  論文  参考訳（メタデータ） (2026-02-23T22:39:40Z)
• From Abstract to Contextual: What LLMs Still Cannot Do in Mathematics [79.81905350372067]
  我々は文脈的数学的推論を通してギャップを研究する。 AIMEとMATH-500の問題を2つのコンテキスト設定に再利用するベンチマークであるContextMATHを紹介する。 オープンソースモデルはSGとCSで13、34ポイント減少し、プロプライエタリモデルは13、20ポイント減少している。
  論文  参考訳（メタデータ） (2026-01-30T14:56:04Z)
• Can Large Reasoning Models Improve Accuracy on Mathematical Tasks Using Flawed Thinking? [0.0]
  思考の連鎖(CoT)の促進は、大きな言語モデルにおける数学的推論の中心となっている。 故意に欠陥のある推論トレースのトレーニングが、そのようなエラーを検出して回復するモデルを教えることができるかどうかを考察する。
  論文  参考訳（メタデータ） (2025-12-18T21:20:21Z)
• UQ: Assessing Language Models on Unsolved Questions [149.46593270027697]
  当社では,Stack Exchangeから提供された500の難解で多様な質問を対象としたテストベッドであるUQを紹介します。 未解決の質問は、人間が答えを求めるときにしばしば難しく自然に発生する。 上位モデルは15%の質問でUQ検証をパスし、予備的な人間の検証はすでに正しい答えを同定している。
  論文  参考訳（メタデータ） (2025-08-25T01:07:59Z)
• When to retrain a machine learning model [0.0]
  現実世界の機械学習モデルを維持する上で重要な課題は、データの継続的かつ予測不可能な進化に対応することだ。 本研究では,境界距離で評価されたモデル性能の進化を連続的に予測して決定する不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2025-05-20T20:55:56Z)
• Climbing the Ladder of Reasoning: What LLMs Can-and Still Can't-Solve after SFT? [59.418994222096885]
  AIME24データセット上でモデル性能の詳細な解析を行う。 我々は質問を4段階(易、中、硬、極度硬)に分類する。 我々は,SFT-1Kインスタンスが最小限であるR1推論スタイルを採用する必要があることを見出した。 エクレベルの質問は、根本的に異なる課題を示します。
  論文  参考訳（メタデータ） (2025-04-16T03:39:38Z)
• MATH-Perturb: Benchmarking LLMs' Math Reasoning Abilities against Hard Perturbations [90.07275414500154]
  各種モデルにおけるMATH-P-Hardの性能低下を観察する。 また、学習した問題解決スキルを盲目的に適用する新しい形態の記憶に関する懸念も提起する。
  論文  参考訳（メタデータ） (2025-02-10T13:31:46Z)
• Physics of Language Models: Part 2.2, How to Learn From Mistakes on Grade-School Math Problems [47.753284211200665]
  我々は、事前訓練段階に直接「エラー訂正」データを組み込むことの有用性を理解することに注力する。 このデータは、即座に修正された誤った解ステップで構成されている。 このタイプの事前学習データにより、言語モデルの推論精度の向上が期待できる。
  論文  参考訳（メタデータ） (2024-08-29T06:49:20Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。