論文の概要: ItDPDM: Information-Theoretic Discrete Poisson Diffusion Model

• arxiv url: http://arxiv.org/abs/2505.05082v3
• Date: Wed, 28 May 2025 00:53:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 15:04:27.932915
• Title: ItDPDM: Information-Theoretic Discrete Poisson Diffusion Model
• Title（参考訳）: IDPDM:情報理論離散ポアソン拡散モデル
• Authors: Sagnik Bhattacharya, Abhiram Gorle, Ahsan Bilal, Connor Ding, Amit Kumar Singh Yadav, Tsachy Weissman,
• Abstract要約: 本稿では,光子到着過程に着想を得た情報理論離散ポアソン拡散モデル(ITDPDM)を紹介する。 我々のアプローチの中心は、真のデータ可能性と証明可能な正確な関係を持つ情報理論ポアソン再構成損失(PRL)である。 IDPDMは、分布ロバストな離散生成モデルの概念の証明を実証する優れた推定値と競合生成品質を得る。
• 参考スコア（独自算出の注目度）: 5.24776944932192
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative modeling of non-negative, discrete data, such as symbolic music, remains challenging due to two persistent limitations in existing methods. Firstly, many approaches rely on modeling continuous embeddings, which is suboptimal for inherently discrete data distributions. Secondly, most models optimize variational bounds rather than exact data likelihood, resulting in inaccurate likelihood estimates and degraded sampling quality. While recent diffusion-based models have addressed these issues separately, we tackle them jointly. In this work, we introduce the Information-Theoretic Discrete Poisson Diffusion Model (ItDPDM), inspired by photon arrival process, which combines exact likelihood estimation with fully discrete-state modeling. Central to our approach is an information-theoretic Poisson Reconstruction Loss (PRL) that has a provable exact relationship with the true data likelihood. ItDPDM achieves improved likelihood and sampling performance over prior discrete and continuous diffusion models on a variety of synthetic discrete datasets. Furthermore, on real-world datasets such as symbolic music and images, ItDPDM attains superior likelihood estimates and competitive generation quality-demonstrating a proof of concept for distribution-robust discrete generative modeling.
• Abstract（参考訳）: シンボリック・ミュージックのような非負の離散データの生成モデリングは、既存の方法に2つの制約があるため、依然として困難である。 第一に、多くのアプローチは連続的な埋め込みのモデリングに依存しており、これは本質的に離散的なデータ分布に最適である。 第二に、ほとんどのモデルは正確なデータ可能性よりも変動境界を最適化し、不正確な推定推定と劣化したサンプリング品質をもたらす。 最近の拡散モデルではこれらの問題を別々に解決しているが、共同で対処する。 本研究では,光子到着過程にインスパイアされた情報理論離散ポアソン拡散モデル(ITDPDM)を提案する。 我々のアプローチの中心は、真のデータ可能性と証明可能な正確な関係を持つ情報理論ポアソン再構成損失(PRL)である。 IDPDMは、様々な合成離散データセット上の先行離散拡散モデルおよび連続拡散モデルに対して、改善された可能性とサンプリング性能を実現する。 さらに,シンボル音楽や画像などの実世界のデータセットでは,分布ロバストな離散生成モデルの概念実証として,優れた推定推定値と競合生成品質が達成されている。

関連論文リスト

• Distillation of Discrete Diffusion through Dimensional Correlations [21.078500510691747]
  「ミクチャー」モデルは、拡張性を維持しながら次元相関を扱える。 損失関数により、混合モデルは、次元相関を学習することで、そのような多くのステップの従来のモデルをほんの数ステップに蒸留することができる。 その結果、画像領域と言語領域をまたいだ事前学習した離散拡散モデルの蒸留における提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-11T10:53:03Z)
• Bayesian Flow Networks [4.197165999892042]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• On Error Propagation of Diffusion Models [77.91480554418048]
  DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。 累積誤差を正規化項として適用して誤差伝搬を低減する。 提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-09T15:31:17Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。