論文の概要: Commitment Before Realization: When Classifier-Free Guidance Becomes Unnecessary in Masked Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2608.08082v1
• Date: Sat, 08 Aug 2026 11:59:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.656043
• Title: Commitment Before Realization: When Classifier-Free Guidance Becomes Unnecessary in Masked Diffusion Language Models
• Title（参考訳）: 実現前のコミットメント:タスク付き拡散言語モデルにおいて、分類子フリーガイダンスが不要になるとき
• Authors: Fan Zhou, Weitian Wang, Tim Van de Cruys,
• Abstract要約: 並列性のないガイダンス(CFG)は通常、マスク付き拡散言語モデルデコーディング全体にわたって維持される。 CFGが実際に必要となるのは,任意の部分的出力から,連続したCFGとベースのみの継続の下での最終的な制約満足度を比較した場合である。
• 参考スコア（独自算出の注目度）: 9.837473841201012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classifier-free guidance (CFG) is usually kept on throughout masked diffusion language model decoding, although its benefit varies across prompts and over time. We study when CFG is actually needed by comparing, from any partial output, the probability of eventual constraint satisfaction under continued CFG and under base-only continuation. Their difference defines the remaining value of guidance. Guidance dependence is highly prompt-specific. Many prompts already succeed without CFG, while for others it provides no measurable benefit or can be harmful. For prompts that do benefit, the gain is often concentrated early. We define the commitment horizon $\astar$ as the earliest point from which switching all remaining decoding to the base model reduces final success by no more than a chosen tolerance. Under the base model, the corresponding success probability, or committor, is a martingale. To first order, CFG's per-step effect is governed by the covariance between the guidance logit direction and the successor committor. This gives a local account of when guidance can help, but it does not by itself locate the horizon. Among prompts with an observed preterminal horizon, $\astar$ is usually early and varies more within constraint families than between them. Freezing each prompt at its own cross-fitted horizon is noninferior to full CFG on all 13 subtasks at the prespecified margin, even while many tokens remain masked. This separates commitment from realization. The boundary also identifies a later region in which higher parallelism adds only a small cost in constraint success, although fluency still degrades with parallel width. For failed trajectories, reopening committed positions improves recovery in both failure modes.
• Abstract（参考訳）: クラシファイアフリーガイダンス(CFG)は通常、マスク付き拡散言語モデルデコード全体にわたって維持されるが、その利点はプロンプトや時間によって異なる。 CFGが実際に必要となるのは,任意の部分的出力から,連続したCFGとベースのみの継続の下での最終的な制約満足度を比較した場合である。 彼らの違いは、ガイダンスの残り値を定義する。 ガイダンス依存は、非常にプロンプト特異的である。 CFGを使わずに既に多くのプロンプトが成功しているが、他のプロンプトでは測定可能な利益や有害性は得られない。 利益をもたらすプロンプトの場合、利益は早期に集中することが多い。 コミットメントの地平線を$\astar$と定義し、残余の復号をベースモデルに切り替えることによって最終的な成功を、選択された寛容度で抑える最初期のポイントとする。 ベースモデルでは、対応する成功確率(committor)はマーチンゲールである。 第1に、CFGのステップごとの効果は、誘導ロジット方向と後続コミッタとの共分散によって制御される。 このことは、ガイダンスがいつ役に立つかというローカルな説明を与えるが、それ自体が地平線を見つけるわけではない。 観測された終端地平線を持つプロンプトのうち、$\astar$は通常早期であり、それらの間よりも制約ファミリー内でより異なる。 それぞれのプロンプトを自身の水平線で凍結することは、多くのトークンが隠蔽されているにもかかわらず、予め指定されたマージンにある13のサブタスク全てでCFGを完全に満たすには不都合である。 これにより、コミットメントは実現から切り離される。 境界はまた、高い並列性がわずかな制約成功のコストしか加えない後続の領域を識別するが、流速は依然として平行幅で低下する。 失敗した軌道に対して、コミットされた位置を再オープンすることで、両方の障害モードのリカバリが改善される。

関連論文リスト

• DualCert: A Solver for the Traveling Salesman Problem with Constraint-Coupled Learning [4.941039246565574]
  大規模走行セールスマン問題 (TSP) では、出力の妥当性を保ちながら限られた計算を割り当てることが求められる。 DualCertは、Emphconstraint-coupled learningを導入し、現在の等級方程式と動的に分離されたサブチュール除去制約がそれぞれの学習遷移を定義する。 1000の保持されたTSP1000インスタンス上で、DualCertは、Lin--Kernighan--Helsgaunバージョン3(LKH-3)からの平均的なツアーコストギャップ(0.0573%)をインスタンス当たり9.55秒のバッチ修正秒で達成した。
  論文  参考訳（メタデータ） (2026-08-10T02:48:16Z)
• TACG: Trajectory-Aware Commit Gating for Diffusion Language Model Decoding [38.72024551312125]
  Trajectory-Aware Commit Gating (TACG) は、トークンのIDを後部に固定するゲートレベルのデコーダである。 TACGをLLaDA,Dream,LLaDA2-Miniベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-07-03T11:45:21Z)
• How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
  機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。 因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。 本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
  論文  参考訳（メタデータ） (2026-06-10T21:07:49Z)
• TAPS: Target-Aware Prefix Tree Selection for Diffusion-Drafted Speculative Decoding [4.5881678566958985]
  パラレルドラフトに拡散モデルを用いることは、投機的復号法には有望なアプローチである。 単一のシーケンスの検証は受け入れ期間を制限し、大きなドラフトツリーの検証は過度なターゲットモデル遅延を引き起こす。 本稿では,拡散限界を経路条件付き受入推定値に変換するターゲット対応プレフィックス選択法TAPSを提案する。
  論文  参考訳（メタデータ） (2026-05-30T02:39:40Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• VGAS: Value-Guided Action-Chunk Selection for Few-Shot Vision-Language-Action Adaptation [22.508129824741555]
  Vision-Language-Action (VLA)モデルでは、マルチモーダル推論を物理的制御でブリッジするが、デモの少ない新しいタスクに適応することは信頼性が低い。 我々は,エフェジェネレーションの観点から少数ショットVLA適応を研究し,新しいフレームワーク textbfVGAS (textbfValue-textbfGuided textbfAction-chunk textbfSelection) を提案する。 セマンティックなアクションチャンクを識別するために、推論タイムのベスト・オブ・N$選択を実行する
  論文  参考訳（メタデータ） (2026-02-07T06:31:53Z)
• TARG: Training-Free Adaptive Retrieval Gating for Efficient RAG [46.122203287541005]
  トレーニングフリーのAdaptive Retrieval Gating (TARG) は、ベースモデルからの短い非遅延ドラフトのみを使用していつ取得するかを決定する、単発のポリシーである。 NQ-Open、TriviaQA、PopQAでは、TARGは一貫して精度と効率のフロンティアをシフトさせる。
  論文  参考訳（メタデータ） (2025-11-12T23:09:52Z)
• Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
  大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。 我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。 我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
  論文  参考訳（メタデータ） (2025-05-15T17:58:33Z)
• From Gradient Flow on Population Loss to Learning with Stochastic Gradient Descent [50.4531316289086]
  SGD(Gradient Descent)は、大規模非ルートモデルの学習方法である。 集団損失のGFが収束すると仮定して、総合的な条件 SGD が収束する。 我々は、凸損失のような古典的な設定だけでなく、Retrieval Matrix sq-rootのようなより複雑な問題に対してもGD/SGDを統一的に解析する。
  論文  参考訳（メタデータ） (2022-10-13T03:55:04Z)
• Bayesian decision-making under misspecified priors with applications to meta-learning [64.38020203019013]
  トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。 性能は不特定な事前条件で優雅に低下することを示す。
  論文  参考訳（メタデータ） (2021-07-03T23:17:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。