論文の概要: INFO-SEDD: Continuous Time Markov Chains as Scalable Information Metrics Estimators
- arxiv url: http://arxiv.org/abs/2502.19183v2
- Date: Thu, 27 Feb 2025 10:15:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-28 11:31:31.819697
- Title: INFO-SEDD: Continuous Time Markov Chains as Scalable Information Metrics Estimators
- Title（参考訳）: INFO-SEDD: スケーラブルな情報メトリクス推定器としての連続時間マルコフチェイン
- Authors: Alberto Foresti, Giulio Franzese, Pietro Michiardi,
- Abstract要約: INFO-SEDDは、相互情報やエントロピーを含む離散データの情報理論量の推定方法である。
提案手法では,1つのパラメトリックモデルのトレーニングが必要である。
実験の結果、INFO-SEDDは堅牢であり、埋め込み技術に依存しているニューラルコンペティターよりも優れていた。
- 参考スコア（独自算出の注目度）: 7.399561232927219
- License:
- Abstract: Information-theoretic quantities play a crucial role in understanding non-linear relationships between random variables and are widely used across scientific disciplines. However, estimating these quantities remains an open problem, particularly in the case of high-dimensional discrete distributions. Current approaches typically rely on embedding discrete data into a continuous space and applying neural estimators originally designed for continuous distributions, a process that may not fully capture the discrete nature of the underlying data. We consider Continuous-Time Markov Chains (CTMCs), stochastic processes on discrete state-spaces which have gained popularity due to their generative modeling applications. In this work, we introduce INFO-SEDD, a novel method for estimating information-theoretic quantities of discrete data, including mutual information and entropy. Our approach requires the training of a single parametric model, offering significant computational and memory advantages. Additionally, it seamlessly integrates with pretrained networks, allowing for efficient reuse of pretrained generative models. To evaluate our approach, we construct a challenging synthetic benchmark. Our experiments demonstrate that INFO-SEDD is robust and outperforms neural competitors that rely on embedding techniques. Moreover, we validate our method on a real-world task: estimating the entropy of an Ising model. Overall, INFO-SEDD outperforms competing methods and shows scalability to high-dimensional scenarios, paving the way for new applications where estimating MI between discrete distribution is the focus. The promising results in this complex, high-dimensional scenario highlight INFO-SEDD as a powerful new estimator in the toolkit for information-theoretical analysis.
- Abstract（参考訳）: 情報理論量(Information-theoretic amount)は、ランダム変数間の非線形関係を理解する上で重要な役割を担い、科学分野において広く利用されている。
しかし、これらの量の推定は、特に高次元の離散分布の場合、未解決の問題である。
現在のアプローチでは、離散データを連続空間に埋め込んで、元々は連続分布用に設計された神経推定器を適用するのが一般的である。
我々は、連続時間マルコフ連鎖(CTMC)、離散状態空間上の確率過程について考察する。
本研究では,相互情報やエントロピーを含む離散データの情報理論量を推定する新しい手法であるINFO-SEDDを紹介する。
提案手法では,1つのパラメトリックモデルのトレーニングが必要である。
さらに、事前訓練されたネットワークとシームレスに統合し、事前訓練された生成モデルの効率的な再利用を可能にする。
提案手法を評価するため,難易度の高い合成ベンチマークを構築した。
実験の結果,INFO-SEDDは組込み技術に頼っているニューラルコンペティターを上回っていることがわかった。
さらに,Isingモデルのエントロピーを推定する実世界の課題に対して,本手法の有効性を検証した。
全体として、INFO-SEDDは競合する手法より優れ、高次元シナリオへのスケーラビリティを示し、離散分布間でMIを推定する新しいアプリケーションへの道を開く。
この複雑な高次元シナリオにおける有望な結果は、情報理論解析のためのツールキットにおける強力な新しい推定器としてINFO-SEDDを際立たせる。
関連論文リスト
- Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - REMEDI: Corrective Transformations for Improved Neural Entropy Estimation [0.7488108981865708]
我々は微分エントロピーの効率的かつ正確な推定のために$textttREMEDI$を紹介した。
提案手法は,幅広い推定課題にまたがる改善を実証する。
自然に情報理論による教師あり学習モデルに拡張することができる。
論文 参考訳（メタデータ） (2024-02-08T14:47:37Z) - Online Tensor Inference [0.0]
従来のオフライン学習は、各計算繰り返しにおける全てのデータの保存と利用を伴い、高次元テンソルデータには実用的ではない。
既存の低ランクテンソル法は、オンラインの方法での統計的推論能力に欠ける。
本手法では,広範囲なメモリ要求を伴わずに効率的なリアルタイムデータ処理を実現するため,グラディエント・Descent (SGD) を用いる。
論文 参考訳（メタデータ） (2023-12-28T16:37:48Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - STEERING: Stein Information Directed Exploration for Model-Based
Reinforcement Learning [111.75423966239092]
遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。
KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
論文 参考訳（メタデータ） (2023-01-28T00:49:28Z) - Infinite-Fidelity Coregionalization for Physical Simulation [22.524773932668023]
多要素モデリングと学習は、物理シミュレーション関連の応用において重要である。
Infinite Fidelity Co Regionalalization (IFC) を提案する。
計算物理学におけるいくつかのベンチマークタスクにおいて,本手法の利点を示す。
論文 参考訳（メタデータ） (2022-07-01T23:01:10Z) - PCENet: High Dimensional Surrogate Modeling for Learning Uncertainty [15.781915567005251]
本稿では,表現学習と不確実性定量化のための新しい代理モデルを提案する。
提案モデルでは、(潜在的に高次元の)データの次元的低減のためのニューラルネットワークアプローチと、データ分布を学習するための代理モデル手法を組み合わせる。
我々のモデルは,データの表現を学習し,(a)高次元データシステムにおける不確実性を推定し,(c)出力分布の高次モーメントを一致させることができる。
論文 参考訳（メタデータ） (2022-02-10T14:42:51Z) - Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文 参考訳（メタデータ） (2021-08-26T14:01:04Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Towards Handling Uncertainty-at-Source in AI -- A Review and Next Steps
for Interval Regression [6.166295570030645]
本稿では,近年の成長領域である区間値データの線形回帰に着目した。
我々は,最先端手法の詳細な分析を行い,特性の異なるデータセットに適用した場合の動作,利点,落とし穴を明らかにする。
論文 参考訳（メタデータ） (2021-04-15T05:31:10Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。