論文の概要: Not Too Hard, Not Too Easy: Learning from Intermediate States for LLM Structured Reasoning

• arxiv url: http://arxiv.org/abs/2609.33149v2
• Date: Thu, 01 Oct 2026 09:35:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.412927
• Title: Not Too Hard, Not Too Easy: Learning from Intermediate States for LLM Structured Reasoning
• Title（参考訳）: LLM構造推論のための中間状態から学ぶ
• Abstract要約: モデルは、問題の制約を満たすまで、不完全または不正な候補解を何度も修正することができる。 我々は,事前学習した言語モデルが,そのような状態の修正を学べるかどうか,また,このフロンティアにおける状態のトレーニングが推論をより広範囲に改善するかどうかを検討する。 FOCUSは、モデルが一定回数のリカレント更新と状態の中で、その状態がどの程度改善され、そこからかなりの進歩を得られるかを測定する。
• 参考スコア（独自算出の注目度）: 11.076346233039812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A common principle of effective learning is to practice material that is neither already mastered nor too difficult to permit progress. We ask how to apply this principle to structured reasoning tasks such as Sudoku and maze solving. In these tasks, a model can repeatedly revise an incomplete or incorrect candidate solution until it satisfies the problem's constraints. The intermediate candidate solutions along this trajectory provide natural training examples: some are already solved, some cannot yet be repaired by the model, and others lie at its current frontier of achievable progress. We therefore investigate whether pretrained language models can learn to revise such states and whether training on states at this frontier improves reasoning more broadly. To achieve this, we couple a pretrained language-model backbone with a recurrent updater that repeatedly revises an explicit solution state, using the same parameters at every update step. We further introduce Frontier-Oriented Curation Using Self-trajectories (FOCUS), which selects training states from trajectories generated by the current model. FOCUS measures how much the model improves each state within a fixed number of recurrent updates and prioritizes states from which it can make substantial progress. With Qwen3-1.7B, FOCUS achieves 64.4% exact solve accuracy on Sudoku-Extreme and 91.1% on Maze-Hard, with similar gains observed across five Qwen and Llama backbones spanning 1.7B to 8B parameters. We further observe zero-shot transfer in the adapted LLM to mathematical reasoning and code execution, even when the recurrent updater is disabled and no downstream fine-tuning is performed.
• Abstract（参考訳）: 効果的な学習の一般的な原則は、既に習得されておらず、進歩を許すのが難しい素材を実践することである。 我々は,この原理を,数量や迷路解法などの構造化推論タスクに適用する方法を問う。 これらのタスクでは、モデルは問題の制約を満たすまで、不完全または不正な候補解を何度も修正することができる。 この軌道に沿った中間候補解は、自然の訓練例を提供する: いくつかは既に解かれており、いくつかはまだモデルによって修理できないもの、そしてあるものは達成可能な進歩の現在のフロンティアにある。 そこで本研究では,事前学習した言語モデルが,そのような状態の修正を学べるかどうか,このフロンティアにおける状態のトレーニングが推論をより広範囲に改善するか否かを検討する。 これを実現するために、トレーニング済みの言語モデルバックボーンと、更新ステップ毎に同じパラメータを使用して、明示的なソリューション状態を繰り返し更新するリカレント更新器を結合する。 さらに,Frontier-Oriented Curation Using Self-trajectories (FOCUS)を導入する。 FOCUSは、一定回数のリカレントアップデートでモデルが各状態をどれだけ改善するかを測定し、その状態からかなりの進歩を得られるように優先順位付けする。 Qwen3-1.7Bでは、FOCUSはSudoku-Extremeで64.4%、Maze-Hardで91.1%、QwenとLlamaの5つのバックボーンで1.7Bから8Bの範囲で同様の利得が観測されている。 さらに、繰り返し更新器を無効にし、下流の微調整を行わない場合でも、適応LDMにおけるゼロショット転送を数学的推論やコード実行に対して観測する。

関連論文リスト

• Question Begets Question: Self-Evolving Curriculum for Reinforcement Fine-Tuning on Competition Mathematics [4.56953073429622]
  トレーニングデータは乏しく、地道的な推論の痕跡は通常利用できないため、モデルはしばしば、追加のデータが更なる改善をもたらすことのない、明らかな天井を示す。 コンペティション数学(AIME)におけるQwen2.5-Math-7Bを微調整した制御環境でのこれらの困難について検討する。 本稿では,各ラウンドで現在のチェックポイントの評価を行い,その問題からQbQの種を抽出し,その結果の変種を学習する自己進化カリキュラムを提案する。
  論文  参考訳（メタデータ） (2026-08-02T22:19:01Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Introspective X Training: Feedback Conditioning Improves Scaling Across all LLM Training Stages [51.86479668480496]
  私たちは、現在のLLMトレーニングパイプラインの、成長を続ける多くのステージに対して、どのようにより効率的にスケールするかという問題に取り組みます。 オフライン報酬条件強化学習に触発されたイントロスペクティブトレーニング(IXT)を提案する。 IXTは思考報酬モデルを使用して、自然言語の批判に基づくフィードバックでデータを注釈付けし、パイプラインの初期段階から品質に配慮したトレーニングを可能にする。
  論文  参考訳（メタデータ） (2026-05-19T06:04:08Z)
• Self-Aware Markov Models for Discrete Reasoning [8.161697757509701]
  本稿では,Markovトランジションカーネルの学習方法を紹介する。 この設計によりトークンを再マッピングすることができ、モデルが以前のミスを修正することができる。 Sudoku-Extremeデータセットでは、95%の妥当性で、他のフローベース手法よりも明らかに優れている。
  論文  参考訳（メタデータ） (2026-03-17T15:30:06Z)
• Semantic Soft Bootstrapping: Long Context Reasoning in LLMs without Reinforcement Learning [46.765013720309064]
  大規模言語モデル(LLM)における長期文脈推論は、チェーン・オブ・ソート(CoT)推論による認知能力の向上を実証している。 このようなモデルのトレーニングは通常、数学やプログラミングのような推論に基づく問題において、検証可能な報酬(RLVR)を用いた強化学習によって行われる。 我々は,教師と学生の両方の役割を同一のベース言語モデルで担う自己蒸留技術であるtextbfSemantic Soft Bootstrapping (SSB) を提案する。
  論文  参考訳（メタデータ） (2025-12-04T18:59:18Z)
• MDPO: Overcoming the Training-Inference Divide of Masked Diffusion Language Models [28.79185891706149]
  拡散言語モデルは、トレーニングと推論の主な相違に悩まされる。 本稿では,マルコフ特性拡散を利用するためのMasked Diffusion Policy Optimization (MDPO)を提案する。 本研究は,MDLMの事前学習と推測の相違を調査するための大きな可能性を見出した。
  論文  参考訳（メタデータ） (2025-08-18T17:58:13Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Deep Feedback Inverse Problem Solver [141.26041463617963]
  逆問題に対する効率的で効果的で汎用的なアプローチを提案する。 我々は、フォワードプロセスが提供するフィードバック信号を活用し、反復的な更新モデルを学ぶ。 私たちのアプローチは前もってのプロセスに制限がなく、事前の知識も必要ありません。
  論文  参考訳（メタデータ） (2021-01-19T16:49:06Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。