論文の概要: Information Estimation with Discrete Diffusion

• arxiv url: http://arxiv.org/abs/2610.23404v1
• Date: Fri, 16 Oct 2026 13:01:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.917232
• Title: Information Estimation with Discrete Diffusion
• Title（参考訳）: 離散拡散を用いた情報推定
• Abstract要約: 本稿では,情報理論推定と生成モデリングを橋渡しする離散拡散に基づく手法であるInfoSEDDを紹介する。 Continuous Time Markov Chains理論の原則に支えられ、InfoSEDDの設計は軽量でスケーラブルである。 本稿では,遺伝子プロモーターデータにおけるモチーフ発見,テキスト要約における意味認識モデル選択,エントロピー推定などによるアプローチの汎用性を示す。
• 参考スコア（独自算出の注目度）: 12.224532699185511
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Information-theoretic measures, such as Mutual Information (MI), play a crucial role in understanding non-linear relationships between random variables and are widely used across scientific disciplines. Yet, their use on real-world discrete data remains challenging. Existing methods typically rely on embedding discrete data into a continuous space and apply neural estimators originally designed for continuous distributions. This process requires careful engineering for both the embedding model and estimator architecture, but suffers from issues related to high data dimensionality. In this work, we introduce InfoSEDD, a discrete diffusion-based approach that bridges information-theoretic estimation and generative modeling such that they can be used to compute Kullback-Leibler divergences. Backed by Continuous Time Markov Chains theory principles, the design of InfoSEDD is lightweight and scalable and allows seamless integration with pretrained models. We showcase the versatility of our approach through applications on motif discovery in genetic promoter data, semantic-aware model selection in text summarization, and entropy estimation in Ising models. Finally, we construct consistency tests on real-world textual and genomics data. Our experiments demonstrate that InfoSEDD outperforms alternatives that rely on the "embedding trick". Our results position InfoSEDD as a robust and scalable tool for information-theoretic analysis of discrete data.
• Abstract（参考訳）: 相互情報(MI)のような情報理論の尺度は、ランダム変数間の非線形関係を理解する上で重要な役割を果たす。 しかし、実際の離散データに対する彼らの利用は依然として困難である。 既存の手法は通常、離散データを連続空間に埋め込んで、元々は連続分布用に設計された神経推定器を適用する。 このプロセスは埋め込みモデルと推定器アーキテクチャの両方に注意深いエンジニアリングを必要とするが、高いデータ次元に関する問題に悩まされている。 本稿では,情報理論と生成モデリングを橋渡しし,Kulback-Leibler の発散を計算できる離散拡散に基づく手法であるInfoSEDDを紹介する。 Continuous Time Markov Chains理論の原則によって支えられ、InfoSEDDの設計は軽量でスケーラブルであり、事前訓練されたモデルとのシームレスな統合を可能にします。 本稿では,遺伝子プロモーターデータにおけるモチーフ発見,テキスト要約における意味認識モデル選択,Isingモデルにおけるエントロピー推定などによるアプローチの汎用性を示す。 最後に,実世界のテキストおよびゲノムデータの整合性テストを構築した。 私たちの実験では、InfoSEDDは"埋め込みトリック"に依存する代替手段よりも優れていることが示されています。 我々はInfoSEDDを離散データの情報理論解析のための堅牢でスケーラブルなツールとして位置づけた。

関連論文リスト

• Diffusion Model for Manifold Data: Score Decomposition, Curvature, and Statistical Complexity [93.52679474816728]
  拡散モデルは、生成モデリングにおける主要なフレームワークとなっている。 本稿では,拡散モデルが構造データをどのように学習するかを,統計的複雑性とデータ幾何学的性質の影響の2つの重要な側面に焦点をあてる。 また、スコア関数の構造と多様体曲率の相互作用も強調する。
  論文  参考訳（メタデータ） (2026-03-21T04:40:19Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Consistent World Models via Foresight Diffusion [56.45012929930605]
  我々は、一貫した拡散に基づく世界モデルを学習する上で重要なボトルネックは、最適下予測能力にあると主張している。 本稿では,拡散に基づく世界モデリングフレームワークであるForesight Diffusion(ForeDiff)を提案する。
  論文  参考訳（メタデータ） (2025-05-22T10:01:59Z)
• INFO-SEDD: Continuous Time Markov Chains as Scalable Information Metrics Estimators [7.399561232927219]
  INFO-SEDDは、相互情報やエントロピーを含む離散データの情報理論量の推定方法である。 提案手法では,1つのパラメトリックモデルのトレーニングが必要である。 実験の結果、INFO-SEDDは堅牢であり、埋め込み技術に依存しているニューラルコンペティターよりも優れていた。
  論文  参考訳（メタデータ） (2025-02-26T14:40:00Z)
• Self-Supervision Improves Diffusion Models for Tabular Data Imputation [20.871219616589986]
  本稿では,自己教師型計算拡散モデル (SimpDM for brevity) という高度な拡散モデルを提案する。 ノイズに対する感度を緩和するために、モデルを規則化し、一貫した安定な計算予測を保証する自己教師付きアライメント機構を導入する。 我々はまた、SimpDM内で慎重に設計された状態依存データ拡張戦略を導入し、限られたデータを扱う際の拡散モデルの堅牢性を高める。
  論文  参考訳（メタデータ） (2024-07-25T13:06:30Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Model-Based Diffusion for Trajectory Optimization [8.943418808959494]
  データ無しで軌道最適化(TO)問題を解決するために拡散法を用いた最適化手法であるモデルベース拡散(MBD)を導入する。 MBDは外部データを必要としないが、様々な性質のデータと自然に統合して拡散過程を制御できる。 MBDは、最先端の強化学習とサンプリングベースのTOメソッドを上回り、コンタクトリッチなタスクに挑戦する。
  論文  参考訳（メタデータ） (2024-05-28T22:14:25Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。