論文の概要: Neural Joint Entropy Estimation
- arxiv url: http://arxiv.org/abs/2012.11197v1
- Date: Mon, 21 Dec 2020 09:23:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-29 08:00:44.968346
- Title: Neural Joint Entropy Estimation
- Title（参考訳）: 神経関節エントロピー推定
- Authors: Yuval Shalev, Amichai Painsky, Irad Ben-Gal
- Abstract要約: 離散確率変数のエントロピーの推定は情報理論と関連する分野における根本的な問題である。
本稿では,McAllester と Statos (2020) の業績を拡張した,この問題に対する実用的な解決策を提案する。
提案手法は,深層ニューラルネットワーク(DNN)におけるクロスエントロピー推定の一般化能力を用いて,エントロピー推定精度の向上を図る。
- 参考スコア（独自算出の注目度）: 12.77733789371855
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Estimating the entropy of a discrete random variable is a fundamental problem
in information theory and related fields. This problem has many applications in
various domains, including machine learning, statistics and data compression.
Over the years, a variety of estimation schemes have been suggested. However,
despite significant progress, most methods still struggle when the sample is
small, compared to the variable's alphabet size. In this work, we introduce a
practical solution to this problem, which extends the work of McAllester and
Statos (2020). The proposed scheme uses the generalization abilities of
cross-entropy estimation in deep neural networks (DNNs) to introduce improved
entropy estimation accuracy. Furthermore, we introduce a family of estimators
for related information-theoretic measures, such as conditional entropy and
mutual information. We show that these estimators are strongly consistent and
demonstrate their performance in a variety of use-cases. First, we consider
large alphabet entropy estimation. Then, we extend the scope to mutual
information estimation. Next, we apply the proposed scheme to conditional
mutual information estimation, as we focus on independence testing tasks.
Finally, we study a transfer entropy estimation problem. The proposed
estimators demonstrate improved performance compared to existing methods in all
tested setups.
- Abstract（参考訳）: 離散確率変数のエントロピーの推定は情報理論と関連する分野における根本的な問題である。
この問題は、機械学習、統計、データ圧縮など、さまざまな領域で多くの応用がある。
長年にわたり、様々な見積もりスキームが提案されてきた。
しかし、大きな進歩にもかかわらず、ほとんどの方法は、変数のアルファベットサイズに比べてサンプルが小さい場合、依然として苦労している。
本稿では,McAllester and Statos (2020) の業績を拡張した,この問題に対する実用的な解決策を提案する。
提案手法は、ディープニューラルネットワーク(DNN)におけるクロスエントロピー推定の一般化能力を用いて、改良されたエントロピー推定精度を導入する。
さらに,条件エントロピーや相互情報など,関連する情報理論の指標を推定する家系を紹介する。
これらの推定器は強い一貫性を持ち,様々なユースケースでその性能を示す。
まず,大きなアルファベットエントロピー推定について考察する。
そして、その範囲を相互情報推定に拡張する。
次に,本提案手法を独立性テストタスクに着目し,相互情報推定の条件付けに応用する。
最後に,転送エントロピー推定問題について検討する。
提案手法は,テスト済みの既存手法と比較して性能が向上した。
関連論文リスト
- Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。
統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
論文 参考訳（メタデータ） (2024-08-25T04:07:18Z) - REMEDI: Corrective Transformations for Improved Neural Entropy Estimation [0.7488108981865708]
我々は微分エントロピーの効率的かつ正確な推定のために$textttREMEDI$を紹介した。
提案手法は,幅広い推定課題にまたがる改善を実証する。
自然に情報理論による教師あり学習モデルに拡張することができる。
論文 参考訳（メタデータ） (2024-02-08T14:47:37Z) - Information Theory Inspired Pattern Analysis for Time-series Data [60.86880787242563]
時系列データのパターンを識別・学習するために,情報理論に基づく特徴量を用いた高度に一般化可能な手法を提案する。
状態遷移を持つ応用では、シャノンのマルコフ鎖のエントロピー、マルコフ鎖のエントロピー率、マルコフ鎖のフォン・ノイマンエントロピーに基づいて特徴が展開される。
その結果,提案した情報理論に基づく特徴は,ベースラインモデルと比較して,リコール率,F1スコア,平均精度を最大23.01%向上させることがわかった。
論文 参考訳（メタデータ） (2023-02-22T21:09:35Z) - Mutual Wasserstein Discrepancy Minimization for Sequential
Recommendation [82.0801585843835]
逐次リコメンデーションのためのMutual WasserStein差分最小化MSteinに基づく新しい自己教師型学習フレームワークを提案する。
また,ワッサーシュタイン離散度測定に基づく新しい学習損失を提案する。
論文 参考訳（メタデータ） (2023-01-28T13:38:48Z) - An Application of a Multivariate Estimation of Distribution Algorithm to
Cancer Chemotherapy [59.40521061783166]
癌に対する化学療法治療は、多数の相互作用する変数と制約を持つ複雑な最適化問題である。
より洗練されたアルゴリズムは、このような複雑な問題に対してより良いパフォーマンスをもたらすことが示される。
我々は、この問題における多数の相互作用によって、より洗練されたアルゴリズムが妨げられていることが原因であると仮定する。
論文 参考訳（メタデータ） (2022-05-17T15:28:46Z) - Estimating the Entropy of Linguistic Distributions [75.20045001387685]
言語分布に対する異なるエントロピー推定器の実証的有効性について検討した。
報告された効果の大きさは、低エントロピー推定器への過度な信頼のために過大評価されていることを示す。
論文 参考訳（メタデータ） (2022-04-04T13:36:46Z) - A Unifying Framework for Some Directed Distances in Statistics [0.0]
密度に基づく有向距離(特に発散距離)は統計学で広く使われている。
本稿では、密度ベースと分布関数ベースの分散アプローチの両方を網羅する一般的なフレームワークを提供する。
我々は、有望な相互情報の代替として、確率変数間の依存の新たな概念を導出する。
論文 参考訳（メタデータ） (2022-03-02T04:24:13Z) - Nonlinear Distribution Regression for Remote Sensing Applications [6.664736150040092]
多くのリモートセンシングアプリケーションでは、観察から関心のある変数やパラメータを推定したい。
ニューラルネットワーク、ランダムフォレスト、ガウス過程などの標準アルゴリズムは、これら2つに関連して容易に利用可能である。
本稿では, グループ化されたデータの統計を仮定することなく, 従来の問題を解く非線形(カーネルベース)な分散回帰法を提案する。
論文 参考訳（メタデータ） (2020-12-07T22:04:43Z) - High-Dimensional Multi-Task Averaging and Application to Kernel Mean
Embedding [0.0]
マルチタスク平均化問題に対する改善された推定器を提案する。
我々は、この手法が平均二乗誤差の低減をもたらすことを理論的に証明する。
このアプローチの応用は、複数のカーネルの平均埋め込みの推定である。
論文 参考訳（メタデータ） (2020-11-13T07:31:30Z) - Information Theory Measures via Multidimensional Gaussianization [7.788961560607993]
情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。
現実世界の応用にはいくつかの望ましい性質がある。
しかし,多次元データから情報を取得することは,次元性の呪いによる難題である。
論文 参考訳（メタデータ） (2020-10-08T07:22:16Z) - Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。
提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
論文 参考訳（メタデータ） (2020-06-09T23:26:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。