論文の概要: TraceForge: Distilling with Your Own Thinking
- arxiv url: http://arxiv.org/abs/2610.29680v1
- Date: Wed, 21 Oct 2026 12:57:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.365779
- Title: TraceForge: Distilling with Your Own Thinking
- Title（参考訳）: TraceForge: 自分の思考で蒸留する
- Abstract要約: LLMを使用して、別のモデルのトレーニングデータを生成します。
返ってくるのは、その裏にある詳細な理由の痕跡なしに、答えか、あるいは短い要約である。
最近の作業は、モデル間で暗号化されたブロックを再生することで、隠れた推論を回復する。
我々は、文脈と教師の回答を入力として、推論トレースを自分自身で生成する。
- 参考スコア（独自算出の注目度）: 5.020887219109677
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Using an LLM to generate training data for another is among the most general ways to train one, and it remains common practice. Some frontier teams have closed that route for their own models: what comes back is an answer, or a short summary, without the detailed reasoning trace behind it. That is a little ironic: they were themselves built on distilling human knowledge, and distilling an open-source model is still entirely routine; the restriction applies to their own outputs alone. Recent work recovers the hidden reasoning by replaying encrypted blocks across models. It somehow works, but it breaks the providers' terms of service, so it is not something a product can be built on long-term. We built the alternative. We take the context and the teacher's answer as input, and generate the reasoning trace ourselves, in the style of the student's own model family. Training is two-stage, supervised and then adversarial: a generator learns to regenerate the family's own reasoning traces from their context and answer, and a critic learns how real a reasoning trace looks. Applied to a teacher's answer, the generator writes one in the family's style. An independent judge rates how likely traces are to be genuine on a scale from 0 to 1: ours average 0.68, real traces 0.66, and traces selected by the critic from four candidates 0.82. These are authenticity scores, not correctness rates. We test the idea on five benchmarks with everything else held fixed. On general tasks the five training corpora are about the same; on coding, the generated reasoning beats Fable 5's own thinking content. With the same 5,000 questions and the same teacher answers, HumanEval+ improves by 3.7 points and MBPP+ by 7.1 at the final checkpoint, and the MBPP+ lead holds at every checkpoint. We suspect that reasoning written in the student's family style is easier for it to learn from.
- Abstract（参考訳）: LLMを使用して他のトレーニングデータを生成することは、トレーニングの最も一般的な方法のひとつであり、一般的なプラクティスである。
いくつかのフロンティアチームは、自分たちのモデルのためにそのルートを閉じた。
これは皮肉なことに、人間の知識を蒸留するために作られたもので、オープンソースモデルを蒸留することは、まだ完全に日常的である。
最近の作業は、モデル間で暗号化されたブロックを再生することで、隠れた推論を回復する。
何らかの形で機能しますが、プロバイダのサービス規約を破ります。
私たちはその代替品を作った。
我々は,教師の回答と文脈を入力として,学生のモデルファミリーのスタイルで,自己の推論トレースを生成する。
ジェネレータは、文脈と答えから家族自身の推論トレースを再生することを学び、批評家は推論トレースが実際にどのように見えるかを学ぶ。
教師の回答に当てはめて、ジェネレータは家族のスタイルで1つを書きます。
独立審査員は、平均0.68、実トレース0.66、および4つの候補0.82から選ばれた批評家によって選択されたトレースのうち、トレースの真偽を0から1のスケールで評価する。
これらは正当性スコアであり、正当性スコアではない。
私たちはこのアイデアを5つのベンチマークでテストしました。
一般的なタスクでは、5つのトレーニングコーパスはほぼ同じで、コーディングでは、生成された推論がFable 5自身の思考内容を上回っます。
同じ5000の質問と同じ教師の回答で、HumanEval+は最終チェックポイントで3.7ポイント、MBPP+は7.1ポイント改善され、MBPP+のリードはすべてのチェックポイントで保持される。
学生の家庭スタイルで書かれた推論は、学習しやすくなっていると疑っている。
関連論文リスト
- Bridged Self-Distillation for On-Policy Learning [49.988786243314564]
ブリッジド・セルフ蒸留(Bridged Self-Distillation、BSD)は、推論トレースを提供する教師から蒸留するためのフレームワークである。
BSDは、結果として生じるトークンレベルのガイダンスを使用して、失敗したロールアウトの更新を調整する。
論文 参考訳（メタデータ） (2026-10-19T13:40:50Z) - Structural Chain-of-Thought: Reasoning with Executable Computational Graphs [11.183892591874224]
チェーン・オブ・プルーピングは、検証が難しく、生成にコストがかかり、常に忠実であるとは限らない説明を生み出します。
本稿では,モデルが自由形式推論の代わりに実行可能な計算グラフを生成する構造的階層化フレームワークを提案する。
我々の実験は、我々のアプローチで訓練されたモデルは、ポストホックな合理化を生成するよりも、生成したグラフから回答を導き出すことに頼っていることを示している。
論文 参考訳（メタデータ） (2026-10-10T18:29:30Z) - What Matters for Latent Reasoning with Flow Matching [52.62368406036621]
潜在推論により、大きな言語モデルは連続した空間で考え、答えのみを言葉で表すことができる。
有効な潜伏思想は5つの要件を満たす必要があると我々は主張する。
FLaReは、潜伏空間がエンコードしたものと、それをどのように形成するか、フローのトレーニング場所、答えの読み方、そしてモデル自身の検証された思考に関する最終段階を含む単純なレシピである。
論文 参考訳（メタデータ） (2026-10-05T16:42:40Z) - What Should a Self-Teacher See? Privileged Context Design for On-Policy Self-Distillation [31.665758312770212]
本研究では,自己学習者が特権的文脈下で生徒自身のロールアウトをスコアする,政治自己蒸留(OPSD)の緊張度について検討する。
オフラインでコンパイルされた3つの抽象化、名前付き戦略、メソッドに依存しないフレーミング、問題カテゴリを比較します。
論文 参考訳（メタデータ） (2026-09-22T03:29:40Z) - What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。
AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。
直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
論文 参考訳（メタデータ） (2026-09-17T15:57:10Z) - A Fragility Spectrum for Recursive Language-Model Training [9.563027159959587]
異なるモデルが同じプロセスで非常に異なる振る舞いをすることを示す。
5世代後のユニークな4グラムの結果は、チェックポイント毎に0.187から0.940まで様々である。
共有プールの構成を変更したり、人文で混合したりすることで、スピアマンの順序の相関は0.91--0.97に保たれる。
論文 参考訳（メタデータ） (2026-09-10T06:56:22Z) - Correct Is Not Enough: Training Reasoning Planners with Executor-Grounded Rewards [15.458797431655961]
検証可能な報酬を伴う強化学習は、大規模言語モデルにおける明示的な推論を改善する共通の方法となっている。
しかし、最終回答の正確性だけでは、推論トレースが信頼できるか、信頼できるか、あるいはそれを消費するモデルに有用かは明らかになっていない。
我々は、推論を消費可能な中間アーティファクトとして扱うプランナー・エグゼクタトレーニングフレームワークであるTraceLiftを提案する。
論文 参考訳（メタデータ） (2026-05-05T15:24:40Z) - CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution [52.691495954442985]
CoVerRLは1つのモデルがジェネレータと検証ロールを交換するフレームワークで、各機能が他方をブートストラップする。
Qwen と Llama のモデルファミリーでの実験では、CoVerRL は数理推論のベンチマークで4.7-5.9% でラベルなしのベースラインを上回っている。
自己検証の精度は55%から85%以上改善され、両方の能力が真に共存することを確認した。
論文 参考訳（メタデータ） (2026-03-18T14:38:55Z) - How to Steal Reasoning Without Reasoning Traces [11.96740610715437]
多くの大規模言語モデル(LLM)は、応答を生成するために推論を使用するが、完全な推論トレースは明らかにしない。
対象モデルに露出した要約を入力,回答,(任意に)推論するのみを与えられたトレースインバージョンモデルを導入し,詳細な合成推論トレースを生成する。
論文 参考訳（メタデータ） (2026-03-07T15:50:44Z) - Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。
本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。
本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
論文 参考訳（メタデータ） (2022-12-07T18:17:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。