論文の概要: Decoding in Order-Agnostic Language Models: Chain-Rule Deviation and Uniform Spreading

• arxiv url: http://arxiv.org/abs/2606.00997v1
• Date: Sun, 31 May 2026 04:25:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.055829
• Title: Decoding in Order-Agnostic Language Models: Chain-Rule Deviation and Uniform Spreading
• Title（参考訳）: 順序に依存しない言語モデルにおけるデコード:連鎖ルールの偏差と一様スプレッド
• Authors: Lin Yao,
• Abstract要約: 順序に依存しない言語モデル(OALM)は任意の条件セットの下でマスク付きトークンを予測するために訓練される。 学習条件はコヒーレントな関節分布の正確な分解ではないことを示す。 信頼性トレースの形状に基づく相補的診断を提案する。
• 参考スコア（独自算出の注目度）: 0.6916773850242582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Order-agnostic language models (OALMs), including discrete diffusion language models (dLLMs), are trained to predict masked tokens under arbitrary conditioning sets, allowing sequences to be generated or scored under arbitrary reveal orders at inference time. In LLaDA-2.1, we report three findings. First, the learned conditionals are not exact factorizations of a coherent joint distribution: changing only the reveal order shifts target log-likelihood by up to 0.49 nats/token, so likelihood alone mixes content difficulty with path-dependent artifacts. Second, although confidence-first (CF) decoding is order-agnostic, its reveal orders are close to left-to-right (L2R) on content tokens. Third, we propose a complementary diagnostic based on the shape of the confidence trace. A uniform-spreading theorem shows that, at fixed total likelihood, target recoverability is maximized when per-step confidence is spread uniformly; the resulting deviation motivates $\mathrm{Var}(\log q_t)$ as a diagnostic for comparing decoding paths. Across C4 and four downstream benchmarks, low variance separates structured paths from random ordering, and variance is consistently associated with downstream correctness. These results support reporting mean confidence and confidence variance jointly when comparing OALM decoding paths.
• Abstract（参考訳）: 離散拡散言語モデル (dLLMs) を含む順序に依存しない言語モデル (OALMs) は、任意の条件セットの下でマスク付きトークンを予測できるように訓練され、推論時に任意の明示的な順序でシーケンスが生成またはスコアされる。 LLaDA-2.1では3例を報告した。 まず、学習条件はコヒーレントな関節分布の正確な分解ではなく、露光順序だけを変えることで、ターゲットの対数様態を最大0.49ナッツ/トケンにシフトさせるため、パス依存のアーティファクトとコンテントの難しさを混同する可能性がある。 第二に、信頼優先(CF)復号法は順序に依存しないが、その明示的な順序はコンテンツトークン上で左から右に近づく(L2R)。 第3に,信頼性トレースの形状に基づく相補的診断を提案する。 均一拡散定理は、固定された全確率において、ステップ毎の信頼度が均一に広がるときに目標回復可能性が最大化されることを示し、その結果の偏差は復号パスを比較するための診断として$\mathrm{Var}(\log q_t)$を動機付けている。 C4と4つの下流ベンチマークで、低分散は構造化パスをランダムな順序付けから切り離し、分散は下流の正確性と一貫して関連している。 これらの結果は、OALMデコーディングパスを比較する際に、平均信頼度と信頼度差を共同で報告することを支援する。

関連論文リスト

• Grounded Decoding: Retrieval-Anchored Probability Fusion for Faithful RAG [6.324418485299426]
  大規模な言語モデルは、競合が発生したとき、検索された情報よりもパラメトリックな知識を優先することができる。 本稿では,モデルパラメータを変更することなくRAGの現実的整合性を改善するために,新しいトレーニングフリーデコーディングフレームワークであるemphGrounded Decodingを提案する。 以上の結果から, 確率レベルの融合は, 忠実なRAG復号化のためのロジットレベルの介入法に代わる, 強力かつ効率的な代替手段となることが示唆された。
  論文  参考訳（メタデータ） (2026-05-29T23:47:39Z)
• A Mutual Information Lower Bound for Multimodal Regression Active Learning [9.04041860173466]
  Mutual Information Lower Bound (MI-LB) は、Mixture Network アンサンブルのクローズドフォーム近似である。 我々は,MI-LBがマルチモーダルシステムを備えたベンチマークで評価されたベースラインのすべてに一致または打ち勝つことを示す。
  論文  参考訳（メタデータ） (2026-05-14T14:50:47Z)
• DPRM: A Plug-in Doob h transform-induced Token-Ordering Module for Diffusion Language Models [76.12556589212666]
  本稿では拡散言語モデルのためのプラグイントークン順序付けモジュールDPRM(Doob h-transform Process Reward Model)を紹介する。 DPRMは信頼性駆動のプログレッシブオーダから始まり、徐々にDoobh変換プロセスリワード誘導オーダへと移行する。 抽出可能な最適化の仮定の下では、DPRMはランダムおよび信頼のみの順序よりもサンプル複雑さの優位性が得られる。
  論文  参考訳（メタデータ） (2026-04-27T11:50:26Z)
• Dependency-Guided Parallel Decoding in Discrete Diffusion Language Models [21.699371484195865]
  我々は,dLLMの最終隠れ状態にアタッチする軽量依存予測器DEMASKを提案する。 実証的に、DEMASKはDream-7Bで1.7-2.2$times$ Speedupを達成し、信頼性ベースのベースラインやKLベースのベースラインと比較して精度が向上した。
  論文  参考訳（メタデータ） (2026-04-02T22:21:24Z)
• Adaptation to Intrinsic Dependence in Diffusion Language Models [5.185131234265025]
  拡散言語モデル(DLM)は自己回帰(AR)アプローチに代わる有望な代替手段として登場した。 対象データ分布の(未知の)依存構造に適応するDLMの分布に依存しないアンマスキングスケジュールを提案する。 この結果は, 先行収束理論を著しく改善し, 低複雑さ分布に対する相当なサンプリング加速を得た。
  論文  参考訳（メタデータ） (2026-02-23T18:41:34Z)
• dgMARK: Decoding-Guided Watermarking for Diffusion Language Models [5.43345665278304]
  dgMARKは離散拡散言語モデルのための復号誘導型透かし法である。 dgMARKは、逆候補トークンが単純なパリティ制約を満たす位置に対して、偽りの順序を定めている。 透かしはパリティマッチング統計によって検出される。
  論文  参考訳（メタデータ） (2026-01-30T13:51:20Z)
• DiffGRM: Diffusion-based Generative Recommendation Model [63.35379395455103]
  ジェネレーティブレコメンデーション(GR)は、トークン化器を介して各項目をn桁のセマンティックID(SID)として表現する新興パラダイムである。 自己回帰デコーダをマスク付き離散拡散モデル(MDM)に置き換える拡散ベースGRモデルDiffGRMを提案する。 実験では、複数のデータセットに対する強力な生成的および差別的推奨ベースラインよりも一貫した利得を示す。
  論文  参考訳（メタデータ） (2025-10-21T03:23:32Z)
• Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
  本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。 その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。 VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)
• Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression [102.24287051757469]
  深部異方性回帰における自己教師付き共分散推定について検討する。 正規分布の間の2-ワッサーシュタイン距離の上界を導出する。 幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
  論文  参考訳（メタデータ） (2025-02-14T22:37:11Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。