論文の概要: BoundaryEvo: Data-Model Co-Evolution at the Capability Boundary for Long-Chain Reasoning Distillation

• arxiv url: http://arxiv.org/abs/2610.13285v1
• Date: Fri, 09 Oct 2026 09:37:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.507653
• Title: BoundaryEvo: Data-Model Co-Evolution at the Capability Boundary for Long-Chain Reasoning Distillation
• Title（参考訳）: バウンダリーエボ:長鎖共鳴蒸留のための機能境界におけるデータモデル共進化
• Abstract要約: 大規模教師モデルから長鎖推論トラジェクトリを蒸留することは,小言語モデルの推論能力を向上させる効果的な方法である。 既存の方法では、蒸留前に一定のトレーニングセットを選択し、学生が進化するにつれて推論例の有用性が変化するのを見落としている。 2段階のデータモデル共進化フレームワークであるBoundaryEvoを提案する。
• 参考スコア（独自算出の注目度）: 8.969357465140876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distilling long-chain reasoning trajectories from large teacher models provides an effective way to improve the reasoning ability of small language models. However, existing methods typically select a fixed training set before distillation, overlooking that the usefulness of a reasoning example changes as the student evolves. This mismatch becomes especially costly when only a small number of teacher trajectories can be used for training. Besides, examples already mastered provide little new supervision, while examples far beyond the capability of student may be difficult to learn from. Training data should therefore adapt as model capability evolves, yet reliable data selection is difficult when the student is initially weak. To address these challenges, our key idea is to first establish the basic reasoning capability and then adapt the training data to the evolving capability boundary of the student. We propose BoundaryEvo, a two-stage data--model co-evolution framework. In Capability Priming, we directly distill a small set of teacher-generated long reasoning trajectories without using a separate model to judge and filter them, allowing the student to acquire an initial reasoning capability before capability-aware data selection. In Capability-Boundary Co-Evolution, we repeatedly select questions that the current student has not mastered but the expert can reliably solve, and update the training data as the student evolves. With only 1,000 training examples, BoundaryEvo consistently outperforms static and dynamic data selection baselines across 11 reasoning benchmarks, raising the original Qwen3.5-4B accuracy from 62.9 to 75.3 on IMO-AnswerBench and from 26.8 to 46.0 on AMO-Bench. The code and data will be made publicly available.
• Abstract（参考訳）: 大規模教師モデルから長鎖推論トラジェクトリを蒸留することは,小言語モデルの推論能力を向上させる効果的な方法である。 しかし、既存の方法では、蒸留前に一定のトレーニングセットを選択し、学生が進化するにつれて推論例の有用性が変化するのを見越すのが一般的である。 このミスマッチは、少数の教師の軌道しか訓練に使用できない場合、特にコストがかかる。 さらに、既に習得した例は、ほとんど新しい監督を提供していないが、学生の能力を超える例は、学ぶのが難しいかもしれない。 そのため、トレーニングデータはモデル能力が進化するにつれて適応する必要があるが、学生が最初は弱い場合には信頼性の高いデータ選択が難しい。 これらの課題に対処するためには、まず基本的な推論能力を確立し、次に学習者の能力境界にトレーニングデータを適応させることが重要である。 2段階のデータモデル共進化フレームワークであるBoundaryEvoを提案する。 能力プライミングでは,教師が生成した長い推論軌跡を,個別のモデルを用いることなく直接蒸留し,学習者がデータ選択に先立って最初の推論能力を得ることができるようにした。 能力境界共進化(Capability-Boundary Co-Evolution)では,現行の学生が習得していないが専門家が確実に解ける質問を繰り返し,学生が進化するにつれてトレーニングデータを更新する。 わずか1,000のトレーニング例で、BoundaryEvoは11の推論ベンチマークで静的および動的データ選択ベースラインを一貫して上回り、元のQwen3.5-4Bの精度はIMO-AnswerBenchでは62.9から75.3、AMO-Benchでは26.8から46.0に向上した。 コードとデータは公開されます。

関連論文リスト

• When Less Data Favors Smaller Teachers: Rethinking Teacher Capacity and Data Selection for Knowledge Distillation [8.893272453177081]
  教師の指導をリレーショナルオーダに分解して分析する。 低データ体制における小学生のアドバンテージは、スコア幾何学だけでなく、リレーショナル順序付けからも生じることを示す。 予算対応難易度フィルタリングのプロキシとして小人数の教師を用いるDVAを提案する。
  論文  参考訳（メタデータ） (2026-09-28T07:41:08Z)
• What Matters in On-Policy Distillation? A Perspective on Data Efficiency and Data Selection [25.414327410290543]
  On-Policy Distillation (OPD) は、ドメイン推論において大規模言語モデルを強化するための訓練後パラダイムとして広く採用されている。 本稿では,OPDにおけるデータ効率とデータ選択に関する実証的研究について述べる。
  論文  参考訳（メタデータ） (2026-09-04T14:32:08Z)
• Capacity-Dependent Effects of Data Selection for Reasoning [17.988271350238705]
  確率に基づくデータ選択の値は、モデルのキャパシティとトレーニング時間に依存することを示す。 高速で安定した早期改善を提供する。 トレーニングの継続が許された場合、より大規模なモデルには、低品質のデータが益になる。
  論文  参考訳（メタデータ） (2026-08-13T19:31:46Z)
• The Delta Learning Hypothesis: Preference Tuning on Weak Data can Yield Strong Gains [50.66245575710432]
  個々のデータポイントからなるペアの嗜好データにより、個々のデータポイントの強度を超える利得が得られることを示す。 私たちの研究は、モデルが一般的に弱いと考えられるペアデータから驚くほどうまく学習できることを示しています。
  論文  参考訳（メタデータ） (2025-07-08T17:14:44Z)
• Provable unlearning in topic modeling and downstream tasks [36.571324268874264]
  アンラーニングの保証は、しばしば教師付き学習設定に限られる。 我々は、事前学習と微調整のパラダイムにおいて、初となるアンラーニングの理論的保証を提供する。 我々は、特定のタスクに微調整されたモデルから事前学習データを容易に解放できることを示し、ベースモデルを変更することなく、このデータを解放できることを示した。
  論文  参考訳（メタデータ） (2024-11-19T16:04:31Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。