論文の概要: REMEDI: Corrective Transformations for Improved Neural Entropy Estimation
- arxiv url: http://arxiv.org/abs/2402.05718v2
- Date: Mon, 20 May 2024 03:22:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 23:20:37.984040
- Title: REMEDI: Corrective Transformations for Improved Neural Entropy Estimation
- Title（参考訳）: REMEDI: 改良されたニューラルエントロピー推定のための補正変換
- Authors: Viktor Nilsson, Anirban Samaddar, Sandeep Madireddy, Pierre Nyquist,
- Abstract要約: 我々は微分エントロピーの効率的かつ正確な推定のために$textttREMEDI$を紹介した。
提案手法は,幅広い推定課題にまたがる改善を実証する。
自然に情報理論による教師あり学習モデルに拡張することができる。
- 参考スコア（独自算出の注目度）: 0.7488108981865708
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Information theoretic quantities play a central role in machine learning. The recent surge in the complexity of data and models has increased the demand for accurate estimation of these quantities. However, as the dimension grows the estimation presents significant challenges, with existing methods struggling already in relatively low dimensions. To address this issue, in this work, we introduce $\texttt{REMEDI}$ for efficient and accurate estimation of differential entropy, a fundamental information theoretic quantity. The approach combines the minimization of the cross-entropy for simple, adaptive base models and the estimation of their deviation, in terms of the relative entropy, from the data density. Our approach demonstrates improvement across a broad spectrum of estimation tasks, encompassing entropy estimation on both synthetic and natural data. Further, we extend important theoretical consistency results to a more generalized setting required by our approach. We illustrate how the framework can be naturally extended to information theoretic supervised learning models, with a specific focus on the Information Bottleneck approach. It is demonstrated that the method delivers better accuracy compared to the existing methods in Information Bottleneck. In addition, we explore a natural connection between $\texttt{REMEDI}$ and generative modeling using rejection sampling and Langevin dynamics.
- Abstract（参考訳）: 情報理論量は、機械学習において中心的な役割を果たす。
近年、データとモデルの複雑さの増大により、これらの量の正確な推定に対する需要が高まっている。
しかし、次元が大きくなるにつれて、既存の手法は比較的低次元で既に苦労しているため、推定には大きな課題が生じる。
この問題に対処するために、基本的な情報理論量である微分エントロピーの効率的かつ正確な推定のために$\texttt{REMEDI}$を導入する。
このアプローチは、単純で適応的なベースモデルに対するクロスエントロピーの最小化と、データ密度から相対エントロピーの観点からそれらの偏差を推定するものである。
提案手法は, 合成データと自然データの両方において, エントロピー推定を包含して, 幅広い推定課題にまたがる改善を実証する。
さらに、我々は、重要な理論的整合性の結果を、我々のアプローチで要求されるより一般化された設定にまで拡張する。
本稿では,このフレームワークを情報理論教師あり学習モデルに自然に拡張する方法について述べる。
本手法は既存のインフォメーション・ボトルネック法と比較して精度がよいことを示す。
さらに、$\texttt{REMEDI}$と、リジェクションサンプリングとランゲヴィンダイナミクスを用いた生成モデリングとの自然な関係について検討する。
関連論文リスト
- Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。
本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。
提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
論文 参考訳（メタデータ） (2024-04-11T09:23:36Z) - Towards Learning Stochastic Population Models by Gradient Descent [0.0]
パラメータと構造を同時に推定することで,最適化手法に大きな課題が生じることを示す。
モデルの正確な推定を実証するが、擬似的、解釈可能なモデルの推論を強制することは、難易度を劇的に高める。
論文 参考訳（メタデータ） (2024-04-10T14:38:58Z) - Information theory for data-driven model reduction in physics and biology [0.0]
我々は,関連変数を特定するために,情報ボトルネックに基づく体系的アプローチを開発する。
高圧縮の極限において、関連する変数は、最も遅い遅延固有関数によって直接決定されることを示す。
モデルリダクションを実行する解釈可能なディープラーニングツールを構築するための確固たる基盤を提供する。
論文 参考訳（メタデータ） (2023-12-11T18:39:05Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - Mutual Information Estimation via $f$-Divergence and Data Derangements [6.43826005042477]
本稿では,$f$-divergenceの変動表現に基づく,新たな識別情報推定手法を提案する。
提案した推定器は、優れたバイアス/分散トレードオフを示すため、柔軟である。
論文 参考訳（メタデータ） (2023-05-31T16:54:25Z) - STEERING: Stein Information Directed Exploration for Model-Based
Reinforcement Learning [111.75423966239092]
遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。
KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
論文 参考訳（メタデータ） (2023-01-28T00:49:28Z) - Extension of Dynamic Mode Decomposition for dynamic systems with
incomplete information based on t-model of optimal prediction [69.81996031777717]
動的モード分解は、動的データを研究するための非常に効率的な手法であることが証明された。
このアプローチの適用は、利用可能なデータが不完全である場合に問題となる。
本稿では,森-Zwanzig分解の1次近似を考察し,対応する最適化問題を記述し,勾配に基づく最適化法を用いて解く。
論文 参考訳（メタデータ） (2022-02-23T11:23:59Z) - Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。
我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
論文 参考訳（メタデータ） (2021-06-03T00:02:05Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳（メタデータ） (2021-02-12T12:23:13Z) - Information Theory Measures via Multidimensional Gaussianization [7.788961560607993]
情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。
現実世界の応用にはいくつかの望ましい性質がある。
しかし,多次元データから情報を取得することは,次元性の呪いによる難題である。
論文 参考訳（メタデータ） (2020-10-08T07:22:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。