論文の概要: Lost in Interpolation: Why Predictive Feedback Fails in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2608.06529v1
• Date: Thu, 06 Aug 2026 19:23:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.268697
• Title: Lost in Interpolation: Why Predictive Feedback Fails in Diffusion Language Models
• Title（参考訳）: 補間における損失--拡散言語モデルにおける予測フィードバック障害
• Abstract要約: ソフトマスキングは拡散言語モデルの収束を促進する。 MDLMの埋め込み空間を解析し,マスクと予測埋め込みがほぼ角を保っていることを確認する。 S-SM(Spherical Soft-Masking)は、トップ(k)予測を超球面上のフレッシュ平均に集約するドロップイン置換である。
• 参考スコア（独自算出の注目度）: 4.936220215455189
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Soft-masking accelerates the convergence of Masked Diffusion Language Models (MDLMs). Existing formulations build this blend with linear interpolation (LERP) in the raw embedding space, which implicitly treats that space as Euclidean. We analyze the embedding space of MDLMs and find that the mask and predicted-token embeddings maintain a near-constant angle of (\approx 73^\circ) throughout training, while embedding norms remain essentially flat across vocabulary-frequency rank. These indicate a hyperspherical geometry, for which LERP is the wrong interpolation primitive. We introduce Spherical Soft-Masking (S-SM), a drop-in replacement that aggregates the top-(k) predictions with a Fr'echet mean on the hypersphere and blends this mean with the mask direction using spherical linear interpolation (SLERP), then restores the native mask norm. We evaluate S-SM on continued pre-training of a released 169M-parameter MDLM checkpoint across a wide range of inference-time step budgets, SLERP feedback avoids the training degradation that LERP feedback induces and delivers MAUVE gains of up to 2x over the vanilla MDLM baseline and 27.5-56.1% over TopK/LERP at various sampling budgets, alongside consistently lower generative perplexity (16.9-19.6% over the baseline), while leaving output entropy and convergence essentially unchanged.
• Abstract（参考訳）: ソフトマスキングは Masked Diffusion Language Models (MDLM) の収束を促進する。 既存の定式化はこのブレンドを、生の埋め込み空間における線形補間(LERP)と組み合わせ、ユークリッド空間として暗黙的に扱う。 我々はMDLMの埋め込み空間を解析し、マスクと予測トーケン埋め込みがトレーニングを通してほぼ一貫した角度( 73^\circ)を維持しているのに対して、埋め込みノルムは語彙周波数のランクにわたって本質的に平坦であることを示した。 これらは、LERPが間違った補間プリミティブである超球形幾何学を示している。 SLERP (Spherical linear interpolation) を用いてトップ(k) 予測を超球面上の Fr'echet 平均に集約し,これをマスク方向とブレンドするドロップイン置換法である Spherical Soft-Masking (S-SM) を導入し, 固有マスクノルムを復元する。 SLERPのフィードバックは、LERPフィードバックがバニラMDLMベースラインに対して最大2倍のMAUVEゲインを誘導し、様々なサンプリング予算においてTopK/LERPで最大27.5-56.1%のMAUVEゲインを誘導し、出力エントロピーと収束性をほぼ一定に保ったまま、リリースした169MパラメータMDLMチェックポイントの継続事前トレーニングにおいて、S-SMを評価した。

関連論文リスト

• SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
  推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。 既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。 明示的なWhat-whereインターフェースであるSeGDePを提示する。
  論文  参考訳（メタデータ） (2026-09-08T15:11:32Z)
• UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective [17.48959208263029]
  本稿では,事前学習したGPT2チェックポイントを均一な雑音拡散に適応させるための,簡易な事前学習手法を提案する。 我々の研究は、サンプリング予算の増加に伴い、生成的複雑度(GenPPL)とユニグラムエントロピーのトレードオフを着実に改善する。 両スケールで比較した拡散モデルの中で,WinoGrande,SIQA,BBHの精度が最も高い。
  論文  参考訳（メタデータ） (2026-07-27T14:40:26Z)
• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• Rethinking the Divergence Regularization in LLM RL [56.952725733148746]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の訓練後において重要な要素となっている。 そこで本稿では,ハードマスクをスムーズなアドバンテージ重み付き二次正規化器に置き換える多変量正規化政策最適化(DRPO)を提案する。 DRPOはDPPOと同じ信頼領域を保ちながら、有界で連続的な勾配重みを誘導する。
  論文  参考訳（メタデータ） (2026-06-08T17:58:23Z)
• Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training [56.323119575322146]
  Extra-Mergeは、GPT-2およびLLaMAファミリーにわたる実験において、標準のマージベースラインを一貫して上回っている。 Pythia-12B下流のタスクに対して一貫したゼロショット精度のゲインを与え、Muon citepjordan2024muonに効果的に一般化する。
  論文  参考訳（メタデータ） (2026-05-26T02:48:34Z)
• APS: Bias-Controlled Adaptive Prototype Simulation for Population-Scale LLM Agents [23.922499684047263]
  本稿では,拡張性 LLM に基づくシミュレーションを,再帰的なオラクル配置問題として再設計するフレームワークを提案する。 Adaptive Prototype Simulation (APS) は、適応型コアプロトタイプ、選択されたシングルトンテールエージェント、シャドウ監査エージェントをクエリする。 APSは、完全なシミュレーションよりも381.1倍の削減を実現し、対応するフルLLM参照に対して0.094の参照整列最終ラウンドJSDを実現している。
  論文  参考訳（メタデータ） (2026-05-19T08:45:41Z)
• On the Trainability of Masked Diffusion Language Models via Blockwise Locality [58.92209096047332]
  マスク付き拡散言語モデル (MDMs) は、最近、標準自己回帰型大言語モデル (AR-LLMs) に代わる有望な代替品として登場した。 ブロックワイズMDMを解析し,AR-LLMと比較し,構造生成の異なる側面を強調する3つの制御タスクについて検討した。 標準ランダムマスキングMDMは線形回帰を確実に学習できず、グラフパスフィニングにおいて高分散トレーニングダイナミクスを示し、スドクではAR-LLMよりも優れていた。
  論文  参考訳（メタデータ） (2026-04-27T17:44:26Z)
• Relaxation-Informed Training of Neural Network Surrogate Models [3.9722979176564763]
  ReLUニューラルネットワーク訓練サロゲートモデルは、MILP(mixed-integer linear program)に正確に埋め込まれる。 結果として得られるMILPのトラクタビリティは、ネットワークの構造的特性に依存する。 提案した正規化器は, 最大4桁のMILP時間を非正規化ベースラインに短縮できることを示す。
  論文  参考訳（メタデータ） (2026-04-24T17:46:55Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Improving Reasoning for Diffusion Language Models via Group Diffusion Policy Optimization [25.504794432255306]
  拡散言語モデル(DLMs)は、反復的洗練を伴う並列で順序に依存しない生成を可能にする。 強化学習の微調整をDLMに適用することは、難易度が高いため、未解決の課題である。 DLMに適した新しいRLアルゴリズムである textbfGroup Diffusion Policy Optimization (GDPO) を導入する。
  論文  参考訳（メタデータ） (2025-10-09T17:58:07Z)
• Semi-Supervised Learning with Variational Bayesian Inference and Maximum Uncertainty Regularization [62.21716612888669]
  半教師付き学習(SSL)を改善するための2つの一般的な方法を提案する。 第一に、重量摂動(WP)を既存のCR(Consistency regularization)ベースの手法に統合する。 第2の手法は「最大不確実性正規化(MUR)」と呼ばれる新しい整合性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-03T09:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。