論文の概要: ItDPDM: Information-Theoretic Discrete Poisson Diffusion Model

• arxiv url: http://arxiv.org/abs/2505.05082v3
• Date: Wed, 28 May 2025 00:53:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 15:04:27.932915
• Title: ItDPDM: Information-Theoretic Discrete Poisson Diffusion Model
• Title（参考訳）: IDPDM:情報理論離散ポアソン拡散モデル
• Authors: Sagnik Bhattacharya, Abhiram Gorle, Ahsan Bilal, Connor Ding, Amit Kumar Singh Yadav, Tsachy Weissman,
• Abstract要約: 本稿では,光子到着過程に着想を得た情報理論離散ポアソン拡散モデル(ITDPDM)を紹介する。 我々のアプローチの中心は、真のデータ可能性と証明可能な正確な関係を持つ情報理論ポアソン再構成損失(PRL)である。 IDPDMは、分布ロバストな離散生成モデルの概念の証明を実証する優れた推定値と競合生成品質を得る。
• 参考スコア（独自算出の注目度）: 5.24776944932192
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative modeling of non-negative, discrete data, such as symbolic music, remains challenging due to two persistent limitations in existing methods. Firstly, many approaches rely on modeling continuous embeddings, which is suboptimal for inherently discrete data distributions. Secondly, most models optimize variational bounds rather than exact data likelihood, resulting in inaccurate likelihood estimates and degraded sampling quality. While recent diffusion-based models have addressed these issues separately, we tackle them jointly. In this work, we introduce the Information-Theoretic Discrete Poisson Diffusion Model (ItDPDM), inspired by photon arrival process, which combines exact likelihood estimation with fully discrete-state modeling. Central to our approach is an information-theoretic Poisson Reconstruction Loss (PRL) that has a provable exact relationship with the true data likelihood. ItDPDM achieves improved likelihood and sampling performance over prior discrete and continuous diffusion models on a variety of synthetic discrete datasets. Furthermore, on real-world datasets such as symbolic music and images, ItDPDM attains superior likelihood estimates and competitive generation quality-demonstrating a proof of concept for distribution-robust discrete generative modeling.
• Abstract（参考訳）: シンボリック・ミュージックのような非負の離散データの生成モデリングは、既存の方法に2つの制約があるため、依然として困難である。 第一に、多くのアプローチは連続的な埋め込みのモデリングに依存しており、これは本質的に離散的なデータ分布に最適である。 第二に、ほとんどのモデルは正確なデータ可能性よりも変動境界を最適化し、不正確な推定推定と劣化したサンプリング品質をもたらす。 最近の拡散モデルではこれらの問題を別々に解決しているが、共同で対処する。 本研究では,光子到着過程にインスパイアされた情報理論離散ポアソン拡散モデル(ITDPDM)を提案する。 我々のアプローチの中心は、真のデータ可能性と証明可能な正確な関係を持つ情報理論ポアソン再構成損失(PRL)である。 IDPDMは、様々な合成離散データセット上の先行離散拡散モデルおよび連続拡散モデルに対して、改善された可能性とサンプリング性能を実現する。 さらに,シンボル音楽や画像などの実世界のデータセットでは,分布ロバストな離散生成モデルの概念実証として,優れた推定推定値と競合生成品質が達成されている。

関連論文リスト

• Diffusion models for multivariate subsurface generation and efficient probabilistic inversion [0.0]
  拡散モデルは、深い生成モデリングタスクのための安定したトレーニングと最先端のパフォーマンスを提供する。 本稿では拡散モデルに固有のノイズ汚染を考慮した近似法を提案する。 統計的ロバスト性は有意に向上し, 後部確率密度関数のサンプリングが向上した。
  論文  参考訳（メタデータ） (2025-07-21T17:10:16Z)
• Continuous Diffusion Model for Language Modeling [57.396578974401734]
  離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• Discrete vs. Continuous Trade-offs for Generative Models [0.0]
  本研究は拡散確率モデル(DDPM)の理論的および実践的基礎を探求する。 プロセスとブラウン運動を利用して複雑なデータ分布をモデル化するDDPMとスコアベース生成モデル。
  論文  参考訳（メタデータ） (2024-12-26T08:14:27Z)
• Distillation of Discrete Diffusion through Dimensional Correlations [21.078500510691747]
  「ミクチャー」モデルは、拡張性を維持しながら次元相関を扱える。 損失関数により、混合モデルは、次元相関を学習することで、そのような多くのステップの従来のモデルをほんの数ステップに蒸留することができる。 その結果、画像領域と言語領域をまたいだ事前学習した離散拡散モデルの蒸留における提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-11T10:53:03Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Bayesian Flow Networks [4.197165999892042]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• On Error Propagation of Diffusion Models [77.91480554418048]
  DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。 累積誤差を正規化項として適用して誤差伝搬を低減する。 提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-09T15:31:17Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。