論文の概要: Fine-Tuning Diffusion Language Models with Context Selection and Target Weighting

• arxiv url: http://arxiv.org/abs/2609.38385v1
• Date: Tue, 29 Sep 2026 18:42:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.597347
• Title: Fine-Tuning Diffusion Language Models with Context Selection and Target Weighting
• Title（参考訳）: 文脈選択と目標重み付けを用いた微調整拡散言語モデル
• Abstract要約: 離散拡散言語モデルの修正された微調整は、いくつかの応答トークンを隠蔽し、可視的コンテキストから元の値を復元するようにモデルを訓練する。 我々はGoldiMaskを紹介します。これは、サブモジュラー目的をほぼ最大化することで、コンテキストとして明らかにするトークンを選択します。 3つのバックボーンと3つのトレーニングデータセットにわたって、GoldiMaskは、最も評価されたほとんどの設定において、最も高い平均精度を達成する。
• 参考スコア（独自算出の注目度）: 30.255498019699072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised fine-tuning of discrete diffusion language models masks some response tokens and trains the model to recover their original values from the visible context. The masking pattern therefore determines both the context available to the model and the tokens it learns to predict. Uniform random masking does not explicitly account for the interaction between these choices. We introduce GoldiMask, which selects tokens to reveal as context by approximately maximizing a submodular objective. This objective uses model signals to balance the benefit of revealing tokens against their value as prediction targets. GoldiMask then weights the remaining targets according to how they benefit from the selected context and their remaining learning potential. Across three backbones and three training datasets, GoldiMask achieves the highest average accuracy in most evaluated settings, demonstrating gains on both reasoning and code generation. Component ablations show that both context selection and target weighting contribute to the gains. GoldiMask also reduces decoding iterations on GSM8K and MATH-500 under confidence-threshold parallel decoding, while maintaining comparable accuracy at higher confidence thresholds.
• Abstract（参考訳）: 離散拡散言語モデルの修正された微調整は、いくつかの応答トークンを隠蔽し、可視的コンテキストから元の値を復元するようにモデルを訓練する。 したがって、マスキングパターンは、モデルで利用可能なコンテキストと、予測するために学習したトークンの両方を決定する。 均一なランダムマスキングは、これらの選択間の相互作用を明示的に説明していない。 我々はGoldiMaskを紹介します。これは、サブモジュラー目的をほぼ最大化することで、コンテキストとして明らかにするトークンを選択します。 この目的は、予測ターゲットとしてトークンを値に対して明らかにするメリットのバランスを取るために、モデル信号を使用する。 次にGoldiMaskは、選択したコンテキストと学習能力のメリットに基づいて、残りのターゲットを重み付けする。 3つのバックボーンと3つのトレーニングデータセットを通じて、GoldiMaskは、最も評価されたほとんどの設定において、最高の平均精度を達成し、推論とコード生成の両方に利益をもたらす。 コンポーネントの短縮は、コンテキスト選択とターゲット重み付けの両方が利得に寄与することを示している。 また、GoldiMaskはGSM8KとMATH-500の復号イテレーションを、高い信頼性閾値で同等の精度を維持しながら、信頼性を保っている。

関連論文リスト

• Entropy-aware Masking for Masked Language Modeling [4.2566707664597]
  マスケッド言語モデリングは,エンコーダに基づく言語モデルのトレーニングにおいて,標準的な事前学習対象となっている。 本研究では,エントロピー分布に基づくトークンマスキング戦略について検討する。 本稿では,外部参照モデルに頼らずにトレーニング効率を向上させる,新たなセルフマスキング手法を提案する。
  論文  参考訳（メタデータ） (2026-05-27T14:22:49Z)
• Where-to-Unmask: Ground-Truth-Guided Unmasking Order Learning for Masked Diffusion Language Models [17.18632315520133]
  Masked Diffusion Language Modelsは、マスク付きトークンを反復的に充填することでテキストを生成する。 Gt-Marginは、部分的にマスキングされた各状態の下で、より簡単な位置を優先するオラクルアンマスキング順序を与える。 マスク付きコンテキストからオーラクルの注文を模倣するために,教師付きアンマスキングプランナーを学習 to ランクで訓練する。
  論文  参考訳（メタデータ） (2026-02-10T07:56:46Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• A Variational Framework for Improving Naturalness in Generative Spoken Language Models [52.673912922590866]
  本稿では,連続した音声属性をエンコードして意味的トークンを拡張できるエンドツーエンドの変分手法を提案する。 提案手法は,手動によるパラ言語的特徴の抽出と選択の必要性を排除している。 ヒトの発声者に応じて、好意的な発話継続を生産する。
  論文  参考訳（メタデータ） (2025-06-17T17:58:17Z)
• SparsePO: Controlling Preference Alignment of LLMs via Sparse Token Masks [19.58547231973585]
  我々は,POトレーニング中に各トークンに対応するKL分散と報酬の重み付けを自動的に学習する,フレキシブルな目標SparsePOを提案する。 本手法は,要約および対話シナリオにおいて,+10%および+3%の勝利率ポイントを得る。
  論文  参考訳（メタデータ） (2024-10-07T15:01:29Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)
• Masksembles for Uncertainty Estimation [60.400102501013784]
  ディープニューラルネットワークは、その強みを巧みに実証しているが、その予測の信頼性を推定することは依然として困難である。 深層アンサンブルは不確かさを推定する最良の方法の1つと考えられているが、訓練や評価は非常に高価である。 mc-dropoutも人気の高い代替品で、安価だが信頼性も低い。
  論文  参考訳（メタデータ） (2020-12-15T14:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。