Fugu-MT 論文翻訳(概要): From Weeks to Hours: Fast and Principled SFT Data Generation for Reasoning LLMs

論文の概要: From Weeks to Hours: Fast and Principled SFT Data Generation for Reasoning LLMs

arxiv url: http://arxiv.org/abs/2611.00554v1
Date: Sat, 31 Oct 2026 02:27:05 GMT
ステータス: 情報取得中
システム内更新日: 2026-11-03 20:01:16.505816
Title: From Weeks to Hours: Fast and Principled SFT Data Generation for Reasoning LLMs
Title（参考訳）: 数週間から数時間:LLMの高速かつ原則化されたSFTデータ生成
Abstract要約: 推論指向のポストトレーニングにより、大規模言語モデルでは、多段階推論によって複雑なタスクを解決できる。既存のパイプラインは、コストがかかるジェネレータフィルタのパラダイムに依存している。推論データの質を直接予測することで、パイプラインをバイパスする、根本的に異なるアプローチであるSFTProbeを提案する。簡単な LoRA ベースの適応と,各推論トレースの 5% の損失評価を組み合わせることで,難易度と多様性の両面を推定できることがわかった。
参考スコア（独自算出の注目度）: 58.56882815783977
License:
Abstract: Reasoning-oriented post-training enables large language models (LLMs) to solve complex tasks via multi-step inference. Supervised fine-tuning (SFT) on high-quality reasoning traces is a particularly efficient approach, but its effectiveness depends critically on careful data curation. Existing pipelines rely on a costly generate-then-filter paradigm: large pools of long reasoning traces are produced by multiple teacher models and subsequently filtered for difficulty and diversity using additional LLMs, often requiring weeks of computation. In this work, we propose SFTProbe, a fundamentally different approach that bypasses this pipeline by directly predicting the quality of reasoning data. We show that a brief LoRA-based adaptation, combined with evaluating loss on only 5% of each reasoning trace, suffices to estimate both difficulty and diversity. SFTProbe is grounded in a geometric view of post-training, where pretrained LLMs lie in a low-rank, anisotropic loss basin. By probing this basin via low-rank perturbations, we construct compact loss signatures whose clustering captures diversity, while loss at curvature inflection points provides a robust proxy for difficulty. We also provide a simple criterion for teacher selection. Empirically, our approach reduces data curation time from weeks to hours while maintaining or improving performance. Remarkably, on mathematical reasoning, 5k generated examples match the highly filtered 89k-example in OpenThoughts-Math dataset, and 7.5k generated examples outperforms it by 2.5% in accuracy. We further introduce a high-quality physics reasoning dataset, and use it to train a model that outperforms an IPhO 2025 silver-medal-winning model. The code and the dataset are released at https://bigml-cs-ucla.github.io/SFTProbe-page/.
Abstract（参考訳）: 推論指向のポストトレーニングにより、大規模言語モデル(LLM)は多段階推論によって複雑なタスクを解くことができる。高品質な推論トレースに関する監視された微調整(SFT)は特に効率的なアプローチであるが、その有効性は注意深いデータキュレーションに大きく依存する。長い推論トレースの大きなプールは、複数の教師モデルによって生成され、その後追加のLLMを使用して難易度と多様性のためにフィルタされ、しばしば数週間の計算を必要とする。本研究では,理論データの品質を直接予測することで,このパイプラインをバイパスする,根本的に異なるアプローチであるSFTProbeを提案する。簡単な LoRA ベースの適応と,各推論トレースの 5% の損失評価を組み合わせることで,難易度と多様性の両面を推定できることがわかった。 SFTProbe は、事前訓練された LLM が低ランクで異方性のある損失盆地に置かれる後トレーニングの幾何学的なビューに接している。低ランクな摂動によってこの盆地を探索することにより、クラスタリングが多様性を捉えたコンパクトな損失シグネチャを構築する一方、曲率インフレクションポイントでの損失は困難に対する堅牢なプロキシを提供する。また,教師選択のための簡易な基準も提供する。経験的に、我々のアプローチは、データキュレーションの時間を数週間から数時間に短縮し、パフォーマンスを維持または改善します。注目すべきは、数学的推論において、5k生成例はOpenThoughts-Mathデータセットの高度にフィルタされた89kサンプルと一致し、7.5k生成例は精度で2.5%向上したことである。さらに、高品質な物理推論データセットを導入し、IPhO 2025銀メダリングモデルを上回る性能のモデルをトレーニングするために使用します。コードとデータセットはhttps://bigml-cs-ucla.github.io/SFTProbe-page/で公開される。

論文の概要: From Weeks to Hours: Fast and Principled SFT Data Generation for Reasoning LLMs

関連論文リスト