論文の概要: Maximum Entropy competes with Maximum Likelihood
- arxiv url: http://arxiv.org/abs/2012.09430v1
- Date: Thu, 17 Dec 2020 07:44:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-02 20:26:52.948148
- Title: Maximum Entropy competes with Maximum Likelihood
- Title（参考訳）: Maximum EntropyはMaximum Likelihoodと競合する
- Authors: A.E. Allahverdyan and N.H. Martirosyan
- Abstract要約: Max Entropy(MAXENT)メソッドは、理論的および応用機械学習に多数のアプリケーションを持っています。
MAXENTはスパースデータレジームに適用されるが、特定の種類の事前情報を必要とする。
特にMAXENTは、推定された乱数とその確率の間に先行したランク相関がある限り、最適に正規化されたMLを上回ることができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Maximum entropy (MAXENT) method has a large number of applications in
theoretical and applied machine learning, since it provides a convenient
non-parametric tool for estimating unknown probabilities. The method is a major
contribution of statistical physics to probabilistic inference. However, a
systematic approach towards its validity limits is currently missing. Here we
study MAXENT in a Bayesian decision theory set-up, i.e. assuming that there
exists a well-defined prior Dirichlet density for unknown probabilities, and
that the average Kullback-Leibler (KL) distance can be employed for deciding on
the quality and applicability of various estimators. These allow to evaluate
the relevance of various MAXENT constraints, check its general applicability,
and compare MAXENT with estimators having various degrees of dependence on the
prior, viz. the regularized maximum likelihood (ML) and the Bayesian
estimators. We show that MAXENT applies in sparse data regimes, but needs
specific types of prior information. In particular, MAXENT can outperform the
optimally regularized ML provided that there are prior rank correlations
between the estimated random quantity and its probabilities.
- Abstract（参考訳）: 最大エントロピー(MAXENT)法は、未知の確率を推定するための便利な非パラメトリックツールを提供するため、理論的および応用機械学習に多くの応用がある。
この方法は確率的推論に対する統計物理学の大きな貢献である。
しかし、その妥当性の限界に対する体系的なアプローチは現在欠落している。
ここでは、ベイズ決定論においてMAXENTを研究する。
未知の確率に対してよく定義されたディリクレ密度が存在すると仮定し、様々な推定器の品質と適用性を決定するために平均カルバック・リーブラー距離(KL)を用いることができる。
これらは、様々なMAXENT制約の関連性を評価し、その一般的な適用性を確認し、MAXENTを以前のvizに様々な依存度を持つ推定器と比較することができる。
正規化された最大可能性(ML)とベイズ推定器。
MAXENTはスパースデータレジームに適用されるが、特定の種類の事前情報を必要とする。
特にMAXENTは、推定されたランダム量とその確率の間に事前のランク相関が存在することを仮定して、最適に正規化されたMLより優れている。
関連論文リスト
- An Upper Confidence Bound Approach to Estimating the Maximum Mean [0.0]
本研究では, 上限値の最大値の推定について, 上限値 (UCB) を用いて検討した。
両推定器の強い一貫性、平均二乗誤差、中央極限定理(CLT)を含む統計的保証を確立する。
論文 参考訳（メタデータ） (2024-08-08T02:53:09Z) - On the Consistency of Maximum Likelihood Estimation of Probabilistic
Principal Component Analysis [1.0528389538549636]
PPCAは科学や工学から定量的ファイナンスまで幅広い分野の応用がある。
様々な分野に適用可能であるにもかかわらず、このモデルに対する最大可能性(ML)解の健全性を正当化する理論的な保証はほとんど存在しない。
商位相空間を用いた新しいアプローチを提案し、特に、最大極大解が適切な商ユークリッド空間において一貫したことを示す。
論文 参考訳（メタデータ） (2023-11-08T22:40:45Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - In Defense of Softmax Parametrization for Calibrated and Consistent
Learning to Defer [27.025808709031864]
ソフトマックスでパラメータを遅延する学習のための一般的な推定器は、遅延する可能性の未有界推定を与えることが理論的に示されている。
従来の文献における誤校正・非有界推定器の原因は,ソフトマックスによるものではなく,サロゲート損失の対称性によるものであることを示す。
統計的に一貫した非対称なソフトマックスに基づくサロゲート損失を提案する。
論文 参考訳（メタデータ） (2023-11-02T09:15:52Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。
我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
論文 参考訳（メタデータ） (2020-10-11T19:05:49Z) - A Discriminative Technique for Multiple-Source Adaptation [55.5865665284915]
本稿では,マルチソース適応のための新しい識別手法,MSA,問題を提案する。
我々のソリューションは、ソースドメインからのラベルなしデータから容易に正確に推定できる条件付き確率のみを必要とする。
実世界の応用実験により、新しい識別的MSAアルゴリズムは、以前の生成解よりも優れていたことがさらに証明された。
論文 参考訳（メタデータ） (2020-08-25T14:06:15Z) - $\gamma$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a
Robust Divergence Estimator [95.71091446753414]
最寄りの$gamma$-divergence推定器をデータ差分尺度として用いることを提案する。
本手法は既存の不一致対策よりも高いロバスト性を実現する。
論文 参考訳（メタデータ） (2020-06-13T06:09:27Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-04-21T23:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。