Fugu-MT 論文翻訳(概要): Capacity-Dependent Effects of Data Selection for Reasoning

論文の概要: Capacity-Dependent Effects of Data Selection for Reasoning

arxiv url: http://arxiv.org/abs/2608.13721v1
Date: Thu, 13 Aug 2026 19:31:46 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-17 20:14:29.200783
Title: Capacity-Dependent Effects of Data Selection for Reasoning
Title（参考訳）: 推論におけるデータ選択の容量依存性の効果
Abstract要約: 確率に基づくデータ選択の値は、モデルのキャパシティとトレーニング時間に依存することを示す。高速で安定した早期改善を提供する。トレーニングの継続が許された場合、より大規模なモデルには、低品質のデータが益になる。
参考スコア（独自算出の注目度）: 17.988271350238705
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In reasoning supervised fine-tuning, candidate responses for the same instruction can differ substantially in how well they match the student's current distribution. Recent likelihood-based response selection methods suggest that responses closer to the student distribution provide more effective supervision, motivating the hypothesis that high-likelihood responses may generally be preferable for fine-tuning. In this paper, we revisit this intuition and show that the value of likelihood-based data selection depends critically on model capacity and training duration. Through controlled experiments on mathematical reasoning, using students ranging from 1.5B to 8B parameters and supervision generated by stronger teacher models, we observe a clear \emph{capacity-dependent} ``{\color{SMALLCOLOR}\textbf{Fast-Fit}} / {\color{LARGECOLOR}\textbf{Slow-Gain}}'' pattern. High-likelihood data provides faster and more stable early improvements, especially for smaller models, but low-likelihood data becomes increasingly beneficial for larger models when training is allowed to continue longer. To explain this phenomenon, we analyze learning dynamics, showing that small models often fail to absorb low-likelihood supervision and instead fall into shallow or repetitive behaviors, while larger models are better able to move toward the teacher distribution under such data. We further provide a capacity-constrained theoretical view of distillation that clarifies how data difficulty, data span, and student capacity jointly govern transfer. Overall, our findings show that effective data selection for reasoning should be aware of model capacity and computing budget rather than based on a single universal preference for high-likelihood supervision.
Abstract（参考訳）: 教師付き微調整では、生徒の現在の分布とどのように一致しているかにおいて、同じ指導に対する候補者の反応は著しく異なる可能性がある。近年の確率に基づく応答選択法では,学生分布に近い応答がより効果的な監視を提供することが示唆され,高次応答が微調整に好まれる可能性が示唆された。本稿では、この直観を再考し、確率に基づくデータ選択の値は、モデルのキャパシティとトレーニング期間に大きく依存することを示す。数理推論の制御実験を通じて, 1.5Bから8Bまでのパラメータと, より強い教師モデルによって生成される教師モデルを用いて, 明瞭な 'emph{capacity-dependent} ``{\color{SMALLCOLOR}\textbf{Fast-Fit}} / {\color{LARGECOLOR}\textbf{Slow-Gain}}'' パターンを観察した。特により小さなモデルでは、高速で安定した早期改善が提供されるが、トレーニングの継続が許された場合、より大規模なモデルでは、低レベルのデータがますます有益になる。この現象を説明するために、我々は学習力学を解析し、小さなモデルが低濃度の監督を吸収せず、代わりに浅度または反復的な行動に陥り、大きなモデルはそのようなデータの下で教師の分布に向かって進むことができることを示す。さらに、データの難易度、データ分散、および学生の容量が共用的に移行を支配するかを明らかにするため、蒸留の容量に制約のある理論ビューを提供する。総じて, 推論のための効果的なデータ選択は, 高次管理のための単一の普遍的選好に基づくのではなく, モデルキャパシティと計算予算を意識すべきであることが示唆された。

関連論文リスト

Anatomy of Post-Training: Using Interpretability to Characterize Data and Shape the Learning Signal [29.196846051811576]
本稿では、解釈可能性プロトコルを用いたデータ中心のポストトレーニングパイプラインを導入し、非推奨世代と区別される潜在概念の統計的仮説を立案する。我々のパイプラインは、既存の嗜好データの望ましくない信号を診断し、ターゲット外の学習を緩和し、安全ガードやモデルパーソナリティといった望ましい特性を増幅または形作るのにも役立ちます。
論文参考訳（メタデータ） (2026-06-10T17:31:16Z)
SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
論文参考訳（メタデータ） (2025-08-07T03:50:48Z)
The Delta Learning Hypothesis: Preference Tuning on Weak Data can Yield Strong Gains [50.66245575710432]
個々のデータポイントからなるペアの嗜好データにより、個々のデータポイントの強度を超える利得が得られることを示す。私たちの研究は、モデルが一般的に弱いと考えられるペアデータから驚くほどうまく学習できることを示しています。
論文参考訳（メタデータ） (2025-07-08T17:14:44Z)
NaturalThoughts: Selecting and Distilling Reasoning Traces for General Reasoning Tasks [65.70224757972068]
本研究では,NaturalReasoningからの質問のプールに基づいて,強力な教師モデルから推論トレースを選択する。データサイズをランダムサンプリングでスケールアップすることは、安定したパフォーマンス向上を伴う強力なベースラインであることに気付きました。より多様な推論戦略を必要とする難しい事例を選択することは、教師モデルの推論スキルを伝達するよりサンプル効率が高いことが判明した。
論文参考訳（メタデータ） (2025-07-02T17:30:24Z)
Improving Knowledge Distillation Under Unknown Covariate Shift Through Confidence-Guided Data Augmentation [29.552309706623138]
知識の蒸留は基礎モデルから小規模の学生ネットワークへ知識を伝達するための確立されたツールとなりましたこの研究は、知識蒸留における共変量シフトの一般的な実践的問題に対処する。本稿では,教師と生徒の意見の不一致を最大化して画像を生成する,拡散型データ拡張戦略を提案する。実験の結果,CelebAとSpuCo Birdsでは,最悪のグループと平均グループ精度が有意に向上し,ImageNetでは刺激的なmAUCが得られた。
論文参考訳（メタデータ） (2025-06-02T22:15:59Z)
Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文参考訳（メタデータ） (2024-01-17T07:58:18Z)
Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文参考訳（メタデータ） (2023-06-03T20:12:27Z)
Characterizing the robustness of Bayesian adaptive experimental designs to active learning bias [3.1351527202068445]
本研究では,学習バイアスがベイズ適応型実験設計に悪影響を及ぼすことを示す。我々は,誤識別に関する情報理論的な尺度を開発し,誤識別の悪さが学習バイアスの重大化を示唆していることを示す。
論文参考訳（メタデータ） (2022-05-27T01:23:11Z)
Understanding Robustness in Teacher-Student Setting: A New Perspective [42.746182547068265]
適応的な例は機械学習モデルで、有界な対向的摂動はモデルを誤解させ、任意に誤った予測をすることができる。広範な研究は、逆例の存在を説明し、モデルのロバスト性を改善する方法を提供する。我々の研究は、敵対的な事例に関する将来の探索を暗示し、原則化されたデータ拡張を通じてモデルロバスト性を高めることができる。
論文参考訳（メタデータ） (2021-02-25T20:54:24Z)
MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文参考訳（メタデータ） (2020-11-01T18:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。