論文の概要: Fine Until Fine-Tuned: Repeated Solutions Make Reasoning Fragile

• arxiv url: http://arxiv.org/abs/2609.33559v1
• Date: Sun, 27 Sep 2026 13:31:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:45:15.287285
• Title: Fine Until Fine-Tuned: Repeated Solutions Make Reasoning Fragile
• Title（参考訳）: 微調整まで微調整:繰り返し解法で発散する破片を作る
• Abstract要約: s1のようなレシピは、何千、あるいは少なめの動作するソリューションを何度も示して、小さなデータで推論するようにモデルに教えます。 我々はQwen3.5-9B-Baseを、競合数学問題に対する独自の正しい解法で微調整した。 繰り返しは、彼らの推論の脆弱さを次のステージに任せることに気付きます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recipes such as s1 and LIMO teach a model to reason with little data by showing it the same thousand or fewer worked solutions many times over. Judged when that training ends, the repetition looks harmless. But reasoning models are often trained again, and we find that repetition leaves their reasoning fragile to that next stage, even when the stage has nothing to do with reasoning. We fine-tuned Qwen3.5-9B-Base on its own correct solutions to competition math problems, either drilling a few hundred of them about eight times each or showing many more once; with the same amount of training, both solve about 95% of held-out problems. A single pass of ordinary instruction tuning leaves the once-trained model where it was, while the drilled one falls to 86.0%, and harsher later stages take it to 59.3% or below. A third model that visited the drilled problems just as often, with a new solution at every visit, was unharmed, so the damage comes from seeing the same texts again rather than from having few problems. The break recurs with a stronger model's traces, in further training runs and on other models and tasks. It is also cheap to undo: the reasoning is suppressed rather than erased, and five updates of reasoning training bring almost all of it back, as does brief training on the reasoning format with almost no mathematics. Fresh solutions prevented the damage, and so did replaying 6.25% of the original solutions in a gentler later stage, so our claim concerns later training without such replay. Sharpening alone does not explain the break, since a model sharpened three-quarters as much without repetition was unharmed. On a skill the base model could not perform within a token budget, repetition mainly cost learning.
• Abstract（参考訳）: s1 や LIMO のようなレシピは、同じ1000 または少なめの動作するソリューションを何度も示すことで、小さなデータで推論するモデルを教える。 その訓練が終わると判断すると、繰り返しは無害に見える。 しかし、推論モデルは、しばしば再び訓練され、繰り返しは、推論とは無関係なステージであっても、推論の脆弱さを次のステージに置いておくことに気付きます。 Qwen3.5-9B-Baseは、競合する数学問題に対して、それぞれ約8回、数百回ドリルするか、何回も表示するかという、独自の正しい解法で微調整しました。 通常の命令チューニングの1パスは、かつて訓練されたモデルを残し、ドリルされたモデルは86.0%に低下し、後段は59.3%以下に厳しい。 掘削された問題を頻繁に訪れた第3のモデルは、すべての訪問で新しいソリューションを伴って、損傷を受けなかったため、問題が少ないというよりも、同じテキストを再び見ることから損傷を受けた。 このブレークは、より強力なモデルのトレース、さらなるトレーニングの実行、および他のモデルやタスクで再帰する。 推論は消去されるのではなく抑制されるため、推論のトレーニングの5つの更新は、ほとんど数学を伴わない推論形式に関する簡単なトレーニングと同様に、ほとんど全てを取り戻せる。 新鮮なソリューションは損傷を防止し、元のソリューションの6.25%をより穏やかな段階でリプレイした。 シャープ化だけでは、このブレークは説明できない。なぜならモデルが3/4のシャープ化を繰り返すことなく行うためである。 スキルでは、基本モデルはトークンの予算内では実行できませんでした。

関連論文リスト

• Not Too Hard, Not Too Easy: Learning from Intermediate States for LLM Structured Reasoning [11.076346233039812]
  モデルは、問題の制約を満たすまで、不完全または不正な候補解を何度も修正することができる。 我々は,事前学習した言語モデルが,そのような状態の修正を学べるかどうか,また,このフロンティアにおける状態のトレーニングが推論をより広範囲に改善するかどうかを検討する。 FOCUSは、モデルが一定回数のリカレント更新と状態の中で、その状態がどの程度改善され、そこからかなりの進歩を得られるかを測定する。
  論文  参考訳（メタデータ） (2026-09-27T03:22:42Z)
• Question Begets Question: Self-Evolving Curriculum for Reinforcement Fine-Tuning on Competition Mathematics [4.56953073429622]
  トレーニングデータは乏しく、地道的な推論の痕跡は通常利用できないため、モデルはしばしば、追加のデータが更なる改善をもたらすことのない、明らかな天井を示す。 コンペティション数学(AIME)におけるQwen2.5-Math-7Bを微調整した制御環境でのこれらの困難について検討する。 本稿では,各ラウンドで現在のチェックポイントの評価を行い,その問題からQbQの種を抽出し,その結果の変種を学習する自己進化カリキュラムを提案する。
  論文  参考訳（メタデータ） (2026-08-02T22:19:01Z)
• Agon: Competitive Cross-Model RL with Implicit Rival Grading of Reasoning [0.0]
  Agonは、互いに競合する2つのモデルのグレーダーを作成する。 役割の交互に、ひとつのソリューションをドラフトし、もう1つは解決しながらそれを読み、それぞれが他方を解き放つことで報酬を得る。 今のところ、モデルはテキストで話し、次のステップは、潜在空間で一緒に推論できるようにすることです。
  論文  参考訳（メタデータ） (2026-07-08T17:49:14Z)
• A Simple "Try Again" Can Elicit Multi-Turn LLM Reasoning [58.80217284841095]
  マルチターン問題解決は、大規模な推論モデル(LRM)が彼らの推論を反映し、フィードバックから修正する上で非常に難しい。 既存の強化学習(RL)手法は、検証可能な報酬で1ターンのパラダイム上で大きな推論モデルを訓練する。 我々は,反復的問題解決において,最小限の単一ユーザフィードバックを利用する強化学習のためのUnary Feedback as Observation (UFO)を紹介した。
  論文  参考訳（メタデータ） (2025-07-18T18:07:38Z)
• Rethinking Reflection in Pre-Training [13.372316326688722]
  言語モデルの独自の推論を反映する能力は、複雑な問題を解決する上で重要な利点となります。 チェーンオブ思考に意図的にエラーを導入し、これらのミスを認識して修正することで、モデルが正しい回答に到達できるかどうかを検証します。 事前学習の異なる段階におけるパフォーマンスを追跡することにより、この自己補正能力は早期に出現し、時間とともに着実に改善される。
  論文  参考訳（メタデータ） (2025-04-05T02:24:07Z)
• SuperCorrect: Advancing Small LLM Reasoning with Thought Template Distillation and Self-Correction [89.56181323849512]
  SuperCorrectは、大きな教師モデルを使用して、より小さな学生モデルの推論と反映の両方を監督し、修正する新しい2段階のフレームワークである。 第1段階では、教師モデルから階層的な高レベルかつ詳細な思考テンプレートを抽出し、よりきめ細かい推論思考を導き出す学生モデルを指導する。 第2段階では、学生モデルの自己補正能力を高めるために、クロスモデル協調直接選好最適化(DPO)を導入する。
  論文  参考訳（メタデータ） (2024-10-11T17:25:52Z)
• MelHuBERT: A simplified HuBERT on Mel spectrograms [55.608981341747246]
  我々は、高度に成功した自己教師型モデルである HuBERT のトレーニングを再考する。 我々は、損失関数、入力表現、複数の段階におけるトレーニングなど、いくつかの重要なコンポーネントを改善し、単純化する。 我々のモデルであるMelHuBERTは、音声認識、話者識別、自動音声認識において良好な性能を達成することができる。
  論文  参考訳（メタデータ） (2022-11-17T23:38:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。