論文の概要: Match the Canvas, Not Just the Answer: Predictability-Aware SFT for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.18001v1
• Date: Tue, 13 Oct 2026 09:02:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.567737
• Title: Match the Canvas, Not Just the Answer: Predictability-Aware SFT for Diffusion Language Models
• Title（参考訳）: キャンバスのマッチング - 拡散言語モデルにおける予測可能性を考慮したSFT
• Abstract要約: 拡散言語モデル(DLM)は、モデルの進化する予測可能性に応じてトークンを解決し、フレキシブルな並列生成を可能にする。 標準教師付き微調整(SFT)は通常、推論とは独立にランダムマスキングによってこれらの選択を行う。 我々の分析は、このトレーニング推論ミスマッチが監督を誤って行う方法を示している。 これらの知見に触発され,予測可能性を考慮したCanvas Selection and Supervision (PACS)を提案する。
• 参考スコア（独自算出の注目度）: 33.10275803528293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models (DLMs) enable flexible parallel generation by resolving tokens according to the model's evolving predictability rather than a fixed left-to-right order. This flexibility, however, introduces training choices absent from standard autoregressive teacher forcing: which reference tokens are visible when a target is supervised and how much generation space is allocated. Standard supervised fine-tuning (SFT) typically makes these choices through random masking, independently of inference. Our analysis shows how this training-inference mismatch can misdirect supervision. Random masking can conceal prediction errors or penalize uncertainty that decoding would otherwise resolve, while the attention-visible input length can change which response formulations the model favors, even when the underlying solution is unchanged. Motivated by these findings, we propose Predictability-Aware Canvas Selection and Supervision (PACS), an SFT method. PACS uses the model's own predictability to select each example's attention-visible input length and supervises reference tokens immediately before their confidence-guided revelation. Across reasoning and code-generation benchmarks, PACS consistently achieves the highest mean accuracy among the compared SFT methods, with gains of up to 12.84 percentage points over vanilla SFT on individual benchmarks. Code will be released upon publication.
• Abstract（参考訳）: 拡散言語モデル(DLM)は、固定された左から右への順序ではなく、モデルの進化する予測可能性に応じてトークンを解決し、フレキシブルな並列生成を可能にする。 しかし、この柔軟性は、標準の自己回帰的な教師の強制が欠如しているトレーニング選択を導入している。 標準教師付き微調整(SFT)は通常、推論とは独立にランダムマスキングによってこれらの選択を行う。 我々の分析は、このトレーニング推論ミスマッチが監督を誤って行う方法を示している。 ランダムマスキングは予測エラーを隠蔽したり、復号化が解決しない不確実性をペナルライズすることがあるが、注意可視の入力長は、基礎となる解が変更されても、どの応答の定式化が望ましいかを変更できる。 そこで本研究では,SFT法である予測可能性を考慮したCanvas Selection and Supervision (PACS)を提案する。 PACSはモデル独自の予測可能性を使用して、各サンプルの注目可視入力長を選択し、信頼誘導啓示の直前に参照トークンを監督する。 推論とコード生成のベンチマーク全体では、PACSは比較したSFT手法の中で最高平均精度を一貫して達成し、個々のベンチマークでバニラSFTよりも最大12.84ポイント向上した。 コードは公開時に公開される。

関連論文リスト

• What Should SFT Learn? Conditional Information Gain for Generalizable Post-Training [41.10940038446798]
  Supervised Fine-tuning (SFT) は、大規模言語モデルの訓練後に広く使われるアプローチである。 本稿では,各トークンが持つタスク条件情報を推定する情報理論フレームワークであるCIG-SFTを提案する。
  論文  参考訳（メタデータ） (2026-10-09T04:57:55Z)
• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)
• Backpropagation-Free Test-Time Adaptation via Probabilistic Gaussian Alignment [16.352863226512984]
  テスト時間適応(TTA)は、推論中にラベルのないテストデータを活用することにより、分散シフト下でのゼロショットロバスト性を高める。 ほとんどのメソッドは、スケーラビリティを制限し、リアルタイムデプロイメントを妨げるバックプロパゲーションや反復最適化に依存しています。 本稿では,Advanced Distribution-AwareとBack propagation-free Test-time Adapting法であるADAPTを提案する。
  論文  参考訳（メタデータ） (2025-08-21T13:42:49Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。