論文の概要: Neural Joint Entropy Estimation
- arxiv url: http://arxiv.org/abs/2012.11197v1
- Date: Mon, 21 Dec 2020 09:23:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-29 08:00:44.968346
- Title: Neural Joint Entropy Estimation
- Title（参考訳）: 神経関節エントロピー推定
- Authors: Yuval Shalev, Amichai Painsky, Irad Ben-Gal
- Abstract要約: 離散確率変数のエントロピーの推定は情報理論と関連する分野における根本的な問題である。
本稿では,McAllester と Statos (2020) の業績を拡張した,この問題に対する実用的な解決策を提案する。
提案手法は,深層ニューラルネットワーク(DNN)におけるクロスエントロピー推定の一般化能力を用いて,エントロピー推定精度の向上を図る。
- 参考スコア（独自算出の注目度）: 12.77733789371855
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Estimating the entropy of a discrete random variable is a fundamental problem
in information theory and related fields. This problem has many applications in
various domains, including machine learning, statistics and data compression.
Over the years, a variety of estimation schemes have been suggested. However,
despite significant progress, most methods still struggle when the sample is
small, compared to the variable's alphabet size. In this work, we introduce a
practical solution to this problem, which extends the work of McAllester and
Statos (2020). The proposed scheme uses the generalization abilities of
cross-entropy estimation in deep neural networks (DNNs) to introduce improved
entropy estimation accuracy. Furthermore, we introduce a family of estimators
for related information-theoretic measures, such as conditional entropy and
mutual information. We show that these estimators are strongly consistent and
demonstrate their performance in a variety of use-cases. First, we consider
large alphabet entropy estimation. Then, we extend the scope to mutual
information estimation. Next, we apply the proposed scheme to conditional
mutual information estimation, as we focus on independence testing tasks.
Finally, we study a transfer entropy estimation problem. The proposed
estimators demonstrate improved performance compared to existing methods in all
tested setups.
- Abstract（参考訳）: 離散確率変数のエントロピーの推定は情報理論と関連する分野における根本的な問題である。
この問題は、機械学習、統計、データ圧縮など、さまざまな領域で多くの応用がある。
長年にわたり、様々な見積もりスキームが提案されてきた。
しかし、大きな進歩にもかかわらず、ほとんどの方法は、変数のアルファベットサイズに比べてサンプルが小さい場合、依然として苦労している。
本稿では,McAllester and Statos (2020) の業績を拡張した,この問題に対する実用的な解決策を提案する。
提案手法は、ディープニューラルネットワーク(DNN)におけるクロスエントロピー推定の一般化能力を用いて、改良されたエントロピー推定精度を導入する。
さらに,条件エントロピーや相互情報など,関連する情報理論の指標を推定する家系を紹介する。
これらの推定器は強い一貫性を持ち,様々なユースケースでその性能を示す。
まず,大きなアルファベットエントロピー推定について考察する。
そして、その範囲を相互情報推定に拡張する。
次に,本提案手法を独立性テストタスクに着目し,相互情報推定の条件付けに応用する。
最後に,転送エントロピー推定問題について検討する。
提案手法は,テスト済みの既存手法と比較して性能が向上した。
関連論文リスト
- Inference and Sampling for Archimax Copulas [29.864637081333097]
アルキマックスコプラ(Archimax copulas)は、分布のバルクと尾の同時モデリングを可能にする正確な表現を持つ分布の族である。
我々はArchimax copulasの表現に基づいて、非パラメトリック推論法とサンプリングアルゴリズムを開発した。
実験により, 最先端密度モデリング手法と比較し, 提案手法は高次元データへのスケーリングにおいて, 尾部を効果的に外挿することを示した。
論文 参考訳（メタデータ） (2022-05-27T14:55:40Z) - An Application of a Multivariate Estimation of Distribution Algorithm to
Cancer Chemotherapy [59.40521061783166]
癌に対する化学療法治療は、多数の相互作用する変数と制約を持つ複雑な最適化問題である。
より洗練されたアルゴリズムは、このような複雑な問題に対してより良いパフォーマンスをもたらすことが示される。
我々は、この問題における多数の相互作用によって、より洗練されたアルゴリズムが妨げられていることが原因であると仮定する。
論文 参考訳（メタデータ） (2022-05-17T15:28:46Z) - Estimating the Entropy of Linguistic Distributions [75.20045001387685]
言語分布に対する異なるエントロピー推定器の実証的有効性について検討した。
報告された効果の大きさは、低エントロピー推定器への過度な信頼のために過大評価されていることを示す。
論文 参考訳（メタデータ） (2022-04-04T13:36:46Z) - A Unifying Framework for Some Directed Distances in Statistics [0.0]
密度に基づく有向距離(特に発散距離)は統計学で広く使われている。
本稿では、密度ベースと分布関数ベースの分散アプローチの両方を網羅する一般的なフレームワークを提供する。
我々は、有望な相互情報の代替として、確率変数間の依存の新たな概念を導出する。
論文 参考訳（メタデータ） (2022-03-02T04:24:13Z) - TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。
本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。
本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文 参考訳（メタデータ） (2022-02-07T21:37:29Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Learning-based Support Estimation in Sublinear Time [21.920795956349327]
本研究では,その要素のランダムなサンプルから,大規模データセット内の異なる要素数を推定する問題を考察する。
過去10年間にわたる一連の研究の結果、サンプルから最大$ pm varepsilon n$までのサポートを推定するアルゴリズムが作られた。
本稿では、任意の要素が与えられた場合、その周波数を推定する機械学習ベースの予測器を付加した推定アルゴリズムを検討する。
論文 参考訳（メタデータ） (2021-06-15T19:53:12Z) - Control Variates for Slate Off-Policy Evaluation [112.35528337130118]
多次元動作を伴うバッチ化されたコンテキスト帯域データから政治外評価の問題について検討する。
我々は, PIと自己正規化PIの双方に対して, リスク改善を保証した新しい推定器を得る。
論文 参考訳（メタデータ） (2021-06-15T06:59:53Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳（メタデータ） (2021-02-12T12:23:13Z) - Nonlinear Distribution Regression for Remote Sensing Applications [6.664736150040092]
多くのリモートセンシングアプリケーションでは、観察から関心のある変数やパラメータを推定したい。
ニューラルネットワーク、ランダムフォレスト、ガウス過程などの標準アルゴリズムは、これら2つに関連して容易に利用可能である。
本稿では, グループ化されたデータの統計を仮定することなく, 従来の問題を解く非線形(カーネルベース)な分散回帰法を提案する。
論文 参考訳（メタデータ） (2020-12-07T22:04:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。