論文の概要: ItDPDM: Information-Theoretic Discrete Poisson Diffusion Model

• arxiv url: http://arxiv.org/abs/2505.05082v2
• Date: Sun, 11 May 2025 10:49:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 12:10:05.948511
• Title: ItDPDM: Information-Theoretic Discrete Poisson Diffusion Model
• Title（参考訳）: IDPDM:情報理論離散ポアソン拡散モデル
• Authors: Sagnik Bhattacharya, Abhiram Gorle, Ahmed Mohsin, Ahsan Bilal, Connor Ding, Amit Kumar Singh Yadav, Tsachy Weissman,
• Abstract要約: シンボリック・ミュージックトークンなどの離散データ生成のための既存の手法は、2つの大きな課題に直面している。 彼らは離散的な入力を連続状態空間に埋め込むか、真の負の対数類似度を近似する変分損失に依存する。 情報理論離散ポアソン拡散モデル(ITDPDM)を導入する。 カメラセンサーの光子到着プロセスにインスパイアされたポアソン拡散プロセスを介して、離散状態空間で直接操作することで、両方の制限に対処する。
• 参考スコア（独自算出の注目度）: 4.99718214925079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing methods for generative modeling of discrete data, such as symbolic music tokens, face two primary challenges: (1) they either embed discrete inputs into continuous state-spaces or (2) rely on variational losses that only approximate the true negative log-likelihood. Previous efforts have individually targeted these limitations. While information-theoretic Gaussian diffusion models alleviate the suboptimality of variational losses, they still perform modeling in continuous domains. In this work, we introduce the Information-Theoretic Discrete Poisson Diffusion Model (ItDPDM), which simultaneously addresses both limitations by directly operating in a discrete state-space via a Poisson diffusion process inspired by photon arrival processes in camera sensors. We introduce a novel Poisson Reconstruction Loss (PRL) and derive an exact relationship between PRL and the true negative log-likelihood, thereby eliminating the need for approximate evidence lower bounds. Experiments conducted on the Lakh MIDI symbolic music dataset and the CIFAR-10 image benchmark demonstrate that ItDPDM delivers significant improvements, reducing test NLL by up to 80% compared to prior baselines, while also achieving faster convergence.
• Abstract（参考訳）: 1) 離散的な入力を連続的な状態空間に埋め込むか、(2) 真の負の対数類似度を近似する変分損失に頼るかの2つの主な課題に直面している。 これまでの努力は、これらの制限を個別に対象としていた。 情報理論ガウス拡散モデルは変分損失の亜最適性を緩和するが、それでも連続領域でモデリングを行う。 本研究では,カメラセンサの光子到着プロセスにインスパイアされたポアソン拡散プロセスを介して,離散状態空間で直接操作することで,両方の制約を同時に処理する情報理論離散ポアソン拡散モデル(ITDPDM)を提案する。 本稿では,新しいPoisson Reconstruction Loss (PRL)を導入し,PRLと真の負の対数関係の正確な関係を導出した。 Lakh MIDIのシンボリック・ミュージック・データセットとCIFAR-10イメージ・ベンチマークで実施された実験では、IDPDMが大幅に改善され、従来のベースラインに比べてテストNLLが最大80%削減され、より高速な収束が達成された。

関連論文リスト

• Distillation of Discrete Diffusion through Dimensional Correlations [21.078500510691747]
  「ミクチャー」モデルは、拡張性を維持しながら次元相関を扱える。 損失関数により、混合モデルは、次元相関を学習することで、そのような多くのステップの従来のモデルをほんの数ステップに蒸留することができる。 その結果、画像領域と言語領域をまたいだ事前学習した離散拡散モデルの蒸留における提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-11T10:53:03Z)
• Bayesian Flow Networks [4.197165999892042]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• On Error Propagation of Diffusion Models [77.91480554418048]
  DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。 累積誤差を正規化項として適用して誤差伝搬を低減する。 提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-09T15:31:17Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。