論文の概要: Information-Theoretic Discrete Diffusion

• arxiv url: http://arxiv.org/abs/2510.24088v1
• Date: Tue, 28 Oct 2025 05:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:36.80108
• Title: Information-Theoretic Discrete Diffusion
• Title（参考訳）: 情報理論離散拡散
• Authors: Moongyu Jeon, Sangwoo Shin, Dongjae Jeon, Albert No,
• Abstract要約: 本稿では,離散拡散モデルに対する情報理論フレームワークを提案する。 結果は、最適スコアベースの損失の観点から、データのログライクな状態の時間分解を提供する。 合成および実世界のデータを用いた実験により, 推定器の精度, 分散安定性, 有用性が確認された。
• 参考スコア（独自算出の注目度）: 8.018632880023336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present an information-theoretic framework for discrete diffusion models that yields principled estimators of log-likelihood using score-matching losses. Inspired by the I-MMSE identity for the Gaussian setup, we derive analogous results for the discrete setting. Specifically, we introduce the Information-Minimum Denoising Score Entropy (I-MDSE) relation, which links mutual information between data and its diffused version to the minimum denoising score entropy (DSE) loss. We extend this theory to masked diffusion and establish the Information-Minimum Denoising Cross-Entropy (I-MDCE) relation, connecting cross-entropy losses to mutual information in discrete masked processes. These results provide a time-integral decomposition of the log-likelihood of the data in terms of optimal score-based losses, showing that commonly used losses such as DSE and DCE are not merely variational bounds but tight and principled estimators of log-likelihood. The I-MDCE decomposition further enables practical extensions, including time-free formula, conditional likelihood estimation in prompt-response tasks, and coupled Monte Carlo estimation of likelihood ratios. Experiments on synthetic and real-world data confirm the accuracy, variance stability, and utility of our estimators. The code is publicly available at https://github.com/Dongjae0324/infodis.
• Abstract（参考訳）: 本稿では,離散拡散モデルに対する情報理論フレームワークを提案する。 ガウスセットアップのI-MMSEアイデンティティにインスパイアされ、離散的な設定の類似した結果が導出される。 具体的には,情報最小化スコアエントロピー(I-MDSE)関係を導入し,データ間の相互情報と拡散バージョンを最小化スコアエントロピー(DSE)損失とを関連付ける。 我々は、この理論をマスク拡散に拡張し、離散マスクプロセスにおける相互情報にクロスエントロピー損失を接続する、情報最小化クロスエントロピー(I-MDCE)関係を確立する。 これらの結果から, DSE や DCE などの一般的な損失は, 単に変動境界ではなく, 厳密で原理化されたログ類似度推定器であることが示唆された。 さらに、I-MDCE分解により、時間自由式、プロンプト応答タスクの条件推定、確率比のモンテカルロ推定を含む実用的な拡張が可能になる。 合成および実世界のデータを用いた実験により, 推定器の精度, 分散安定性, 有用性が確認された。 コードはhttps://github.com/Dongjae0324/infodisで公開されている。

関連論文リスト

• Information Theoretic Learning for Diffusion Models with Warm Start [8.455757095201314]
  雑音駆動モデルに対してより厳密な確率境界が導出され、最大確率学習の精度と効率が向上する。 我々の重要な洞察は、古典的なKL分散フィッシャー情報関係を任意のノイズ摂動に拡張する。 拡散過程をガウスチャネルとして扱うことにより,提案した対象上界が負対数類似度(NLL)であることを示す。
  論文  参考訳（メタデータ） (2025-10-23T18:00:59Z)
• Beyond Real Data: Synthetic Data through the Lens of Regularization [9.459299281438074]
  合成データは、実際のデータが不足しているときに一般化を改善することができるが、過度な依存は、性能を低下させる分布ミスマッチをもたらす可能性がある。 本稿では,合成データと実データとのトレードオフを定量化する学習理論フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-09T11:33:09Z)
• Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study [3.265950484493743]
  拡散モデルは暗記しがちである。 スコアの正規化は、トレーニングデータセットのサイズを増やすのと同じ効果がある。 この視点は、拡散をデノナイズする2つの規則化機構を強調する。
  論文  参考訳（メタデータ） (2025-05-28T20:22:18Z)
• A Deep Bayesian Nonparametric Framework for Robust Mutual Information Estimation [9.68824512279232]
  相互情報(MI)は、変数間の依存関係をキャプチャするための重要な手段である。 正規化を組み込むためにディリクレ過程後部の有限表現でMI損失を構成することでMI推定器を訓練するソリューションを提案する。 データ空間と変分オートエンコーダの潜時空間の間のMIを最大化するための推定器の適用について検討する。
  論文  参考訳（メタデータ） (2025-03-11T21:27:48Z)
• Geometry-Aware Instrumental Variable Regression [56.16884466478886]
  本稿では,データ導出情報によるデータ多様体の幾何を考慮した移動型IV推定器を提案する。 本手法のプラグイン・アンド・プレイ実装は,標準設定で関連する推定器と同等に動作する。
  論文  参考訳（メタデータ） (2024-05-19T17:49:33Z)
• On Error Propagation of Diffusion Models [77.91480554418048]
  DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。 累積誤差を正規化項として適用して誤差伝搬を低減する。 提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-09T15:31:17Z)
• FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the Underlying Score Fokker-Planck Equation [72.19198763459448]
  雑音が増大する傾向にあるデータ密度に対応する雑音条件スコア関数の族を学習する。 これらの摂動データ密度は、密度の時空間進化を管理する偏微分方程式(PDE)であるフォッカー・プランク方程式(Fokker-Planck equation, FPE)によって結合される。 我々は、摂動データ密度の雑音条件スコアを特徴付けるスコアFPEと呼ばれる対応する方程式を導出する。
  論文  参考訳（メタデータ） (2022-10-09T16:27:25Z)
• A Robust and Flexible EM Algorithm for Mixtures of Elliptical Distributions with Missing Data [71.9573352891936]
  本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。 楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。 合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T10:01:37Z)
• Machine learning on DNA-encoded library count data using an uncertainty-aware probabilistic loss function [1.5559232742666467]
  本稿では, 個々の分子のDEL富化を, 独自の負の対数類似損失関数を用いて学習するための回帰的アプローチを示す。 このアプローチは、CAIXに対してスクリーニングされた108k化合物のデータセットと、sEHとSIRT2に対してスクリーニングされた5.7M化合物のデータセットについて説明する。
  論文  参考訳（メタデータ） (2021-08-27T19:37:06Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。