論文の概要: Unified Energy for Invariant and Independent Decoding in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2606.09159v1
• Date: Mon, 08 Jun 2026 07:50:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.816816
• Title: Unified Energy for Invariant and Independent Decoding in Diffusion Language Models
• Title（参考訳）: 拡散言語モデルにおける不変および独立復号化のための統一エネルギー
• Authors: Yuchen Yan, Minkai Xu, Zaiquan Yang, Yatao Bian,
• Abstract要約: 拡散言語モデル(DLM)は、全シーケンスを反復的に復調することで、並列テキスト生成を可能にする。 既存のメソッドではトークンの関係を完全にキャプチャできないため、ARベースラインに対するパフォーマンスギャップが生じる。 本稿では, モデル容量, (ii) 依存性, (iii) 不変性の3つの重要な因子を同定し, ギャップの系統的解析を行う。
• 参考スコア（独自算出の注目度）: 38.398186971322694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Language Models (DLMs) enable parallel text generation by iteratively denoising a full sequence, offering attractive flexibility compared to auto-regressive (AR) decoding. However, existing methods fail to fully capture token relationships, leading to a performance gap relative to AR baselines, especially as the degree of parallelism increases. In this paper, we give a systematic analysis of the gap, identifying three key factors: (i) model capacity, (ii) dependency, and (iii) invariance. To address these issues, we first propose an invariant energy (Inv-E) together with an effective sampling-based estimator to handle the invariance issue. By further combining with the independent energy (Ind-E), we obtain a unified energy (Uni-E), that accounts for all these factors. Uni-E enjoys a unique advantage: it can be computed exactly without sampling-based partition estimation. Besides, Uni-E is model agnostic and can therefore be scaled to models of arbitrary size. We further prove that Uni-E can correct the distribution shift caused by dependency and invariance. Extensive experiments across Diffusion Language Models (DLMs) and Diffusion Large Language Models (DLLMs) demonstrate the effectiveness of the proposed Uni-E.
• Abstract（参考訳）: Diffusion Language Models (DLMs) は、自動回帰(AR)デコーディングと比較して、柔軟な柔軟性を提供する、完全なシーケンスを反復的にデノベートすることで、並列テキスト生成を可能にする。 しかし、既存のメソッドではトークンの関係を完全にキャプチャできないため、特に並列性の程度が大きくなるにつれて、ARベースラインに対するパフォーマンスのギャップが生じる。 本稿では,このギャップを系統的に解析し,3つの要因を同定する。 (i)モデル容量 (ii)依存性、および (三)相違。 これらの問題に対処するために、まず、不変エネルギー(Inv-E)と効果的なサンプリングベース推定器を併用して、不変問題に対処する。 さらに独立エネルギー(Ind-E)と組み合わせることで、これらのすべての要素を考慮に入れた統一エネルギー(Uni-E)を得る。 Uni-Eにはユニークな利点があり、サンプリングベースのパーティション推定なしで正確に計算できる。 さらに、Uni-Eはモデル非依存であり、従って任意の大きさのモデルにスケールすることができる。 さらに、Uni-Eが依存性と不変性に起因する分散シフトを補正できることを示す。 拡散言語モデル (DLM) と拡散大言語モデル (DLLM) の広範な実験は、提案したUni-Eの有効性を実証する。

関連論文リスト

• Equivariant Evidential Deep Learning for Interatomic Potentials [55.6997213490859]
  不確かさの定量化は、分子動力学シミュレーションにおける機械学習の原子間ポテンシャルの信頼性を評価するために重要である。 既存のMLIPのUQアプローチは、高い計算コストや準最適性能によって制限されることが多い。 我々は,原子間ポテンシャルの定量的深層学習(texte2$IP)を提案する。
  論文  参考訳（メタデータ） (2026-02-11T02:00:25Z)
• Disentanglement with Factor Quantized Variational Autoencoders [11.597012266516332]
  本稿では,生成因子に関する基礎的真理情報をモデルに提供しない離散変分オートエンコーダ(VAE)モデルを提案する。 本研究では, 離散表現を学習する上で, 連続表現を学習することの利点を実証する。 FactorQVAEと呼ばれる手法は、最適化に基づく不整合アプローチと離散表現学習を組み合わせる。
  論文  参考訳（メタデータ） (2024-09-23T09:33:53Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Break The Spell Of Total Correlation In betaTCVAE [4.38301148531795]
  本稿では,全相関の反復的分解経路を提案し,VAEの非絡み合い表現能力について説明する。 新たなモデルにより、VAEはパラメータキャパシティを柔軟に分割し、依存データと独立データの特徴を分割することができる。
  論文  参考訳（メタデータ） (2022-10-17T07:16:53Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Inference-InfoGAN: Inference Independence via Embedding Orthogonal Basis Expansion [2.198430261120653]
  解離学習は、生成モデルが一般的な戦略である独立かつ解釈可能な潜在変数を構築することを目的としている。 本稿では,直交基底拡張(OBE)をInfoGANネットワークに組み込むことで,新しいGANベースの非絡み合いフレームワークを提案する。 我々の推論情報GANは、モデル微調整なしで、FactVAE、分離されたferenceAttribute Predictability(SAP)、Mutual Information Gap(MIG)、およびVP(VP)の指標で高い歪みスコアを得る。
  論文  参考訳（メタデータ） (2021-10-02T11:54:23Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• NestedVAE: Isolating Common Factors via Weak Supervision [45.366986365879505]
  我々は、バイアス低減の課題と、ドメイン間で共通する分離要因の関係を同定する。 共通因子を分離するために、潜伏変数モデルの理論と情報ボトルネック理論を組み合わせる。 共有重みを持つ2つの外部VAEは入力を再構成し、潜伏空間を推論し、一方、ネストされたVAEはペア化された画像の潜伏表現から1つの画像の潜伏表現を再構成しようとする。
  論文  参考訳（メタデータ） (2020-02-26T15:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。