論文の概要: Soft Teacher Forcing

• arxiv url: http://arxiv.org/abs/2610.17189v1
• Date: Mon, 12 Oct 2026 17:55:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 02:52:30.258321
• Title: Soft Teacher Forcing
• Title（参考訳）: ソフト教師の強制
• Abstract要約: ソフトトークンは、これまでのところ、遅延推論法において、個別のチェーン・オブ・シークレットを置き換えるために使われてきた。 我々は,教師力の埋め込みとソフトトークンをランダムな凸の組み合わせで組み合わせた簡単なトレーニングアルゴリズムであるソフト・インストラクター・フォーシング(Soft-TF)を紹介した。 実験によると、Soft-TFはGSM8K、MATH、MathQA、AQuAの教師付き微調整よりも、GSM8Kの7つのGemma、Llama、Mistralモデルで+2.1から+4.1ポイント改善している。
• 参考スコア（独自算出の注目度）: 67.25703741093041
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Soft tokens have so far been used to replace discrete chain-of-thought in latent reasoning methods. These approaches typically require multi-stage training and, in some cases, auxiliary modules, yet they still underperform supervised fine-tuning (SFT) on <input, chain-of-thought, output> triples. In this paper, we ask whether soft tokens can be used to improve SFT itself, instead of as an avenue for latent reasoning. We introduce Soft Teacher Forcing (Soft-TF), a simple training algorithm that combines teacher-forced embeddings with soft tokens through random convex combinations. The soft tokens are computed in a single parallel forward pass over the ground-truth sequence. Soft-TF adds no parameters, no external model and no curriculum, and leaves inference unchanged. Experiments show that Soft-TF improves over SFT on GSM8K, MATH, MathQA and AQuA, by +2.1 to +4.1 points on GSM8K across seven Gemma, Llama and Mistral models.
• Abstract（参考訳）: ソフトトークンは、これまでのところ、遅延推論法において、個別のチェーン・オブ・シークレットを置き換えるために使われてきた。 これらのアプローチは通常、多段階の訓練を必要とし、場合によっては補助的なモジュールも必要だが、それでも<input, chain-of-thinkt, output>三重項上で教師付き微調整(SFT)を過小評価している。 本稿では,ソフトトークンを用いてSFT自体を改善する方法を提案する。 我々は,教師力の埋め込みとソフトトークンをランダムな凸の組み合わせで組み合わせた簡単なトレーニングアルゴリズムであるソフト・インストラクター・フォーシング(Soft-TF)を紹介した。 ソフトトークンは、1つの平行フォワードパスでグラウンド・トゥルース・シーケンス上で計算される。 Soft-TFはパラメータを追加せず、外部モデルもカリキュラムも加えず、推論も変わらない。 実験によると、Soft-TFはGSM8K、MATH、MathQA、AQuA上のSFTよりも、GSM8K上の7つのGemma、Llama、Mistralモデルで+2.1から+4.1ポイント改善している。

関連論文リスト

• Rethinking Soft Tokens for Parallel Decoding in Diffusion Language Models [62.63931587313321]
  拡散言語モデル(DLMs)は、各段階で複数のトークンを予測してコミットすることで並列生成を可能にする。 最近の研究は、emphsoftトークンが不確実な位置を表すことによってこの問題を緩和できることを示している。 ソフトトークンフィードバックが並列デコードをどのように改善するかは、体系的に検討されていない。
  論文  参考訳（メタデータ） (2026-09-29T12:38:30Z)
• Which Tokens Should SFT Actually Learn? A Token-Trimming Perspective on Mathematical Reasoning [42.13393879881966]
  Supervised Fine-tuning (SFT) は、異なるトークンが数学的推論のために不平等な学習信号を提供するにもかかわらず、全ての目標トークンに対して均一なクロスエントロピー損失を課す。 我々は,金メダルと最大の競合相手とのロジットギャップに応じてSFT損失を拡大する単純なトークンレベル再重み付け手法であるTrimSFTを提案する。 Llama,Qwen,DeepMathの5つの数学的推論ベンチマークを用いて,TrimSFTを6つのベースモデルで評価した。
  論文  参考訳（メタデータ） (2026-09-09T04:46:15Z)
• Learnability-Informed Fine-Tuning of Diffusion Language Models [50.420674346943294]
  拡散言語モデル(DLM)のための効率的なSFTベースのポストトレーニングアルゴリズムであるLIFTを提案する。 LIFTは、ほとんどの入力がマスクされ、より多くのコンテキストが利用可能になったときに、簡単なトークンを学習し、異なる拡散時間ステップで利用可能な情報とトレーニングを整合させる。 その結果,LIFT は既存の SFT ベースラインを6つの推論ベンチマークで上回り,AIME'24 と AIME'25 の3倍に向上した。
  論文  参考訳（メタデータ） (2026-05-21T18:16:17Z)
• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)
• Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions [14.85882273040068]
  仮面拡散モデル (MDMs) は、離散領域にまたがる生成的モデリングのための有望な代替手法として登場した。 適応推論は、事前訓練されたMDMの精度を7$%から90$%に向上させ、ARMを7times$のパラメータで上回ります。
  論文  参考訳（メタデータ） (2025-02-10T18:47:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。