論文の概要: Minimizing the Expected Posterior Entropy Yields Optimal Summary
Statistics
- arxiv url: http://arxiv.org/abs/2206.02340v1
- Date: Mon, 6 Jun 2022 03:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 17:39:22.388589
- Title: Minimizing the Expected Posterior Entropy Yields Optimal Summary
Statistics
- Title(参考訳): 期待される後エントロピー収量最適統計量の最小化
- Authors: Till Hoffmann and Jukka-Pekka Onnela
- Abstract要約: 後部エントロピー (EPE) の最小化は, 後部に対する条件密度推定器の学習と等価であることを示す。
本手法は, 集団遺伝学的問題だけでなく, 合成ベンチマークにも適用することにより, 高忠実度要約統計値が得られることを示す。
- 参考スコア(独自算出の注目度): 3.700709497727247
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Extracting low-dimensional summary statistics from large datasets is
essential for efficient (likelihood-free) inference. We propose obtaining
summary statistics by minimizing the expected posterior entropy (EPE) under the
prior predictive distribution of the model. We show that minimizing the EPE is
equivalent to learning a conditional density estimator for the posterior as
well as other information-theoretic approaches. Further summary extraction
methods (including minimizing the $L^2$ Bayes risk, maximizing the Fisher
information, and model selection approaches) are special or limiting cases of
EPE minimization. We demonstrate that the approach yields high fidelity summary
statistics by applying it to both a synthetic benchmark as well as a population
genetics problem. We not only offer concrete recommendations for practitioners
but also provide a unifying perspective for obtaining informative summary
statistics.
- Abstract(参考訳): 大規模なデータセットから低次元の要約統計を抽出することは、効率的な推論に欠かせない。
本稿では,予測された後部エントロピー(EPE)の予測分布を最小化して要約統計値を得る手法を提案する。
EPEの最小化は、後部および他の情報理論的アプローチに対する条件密度推定器の学習と等価であることを示す。
さらなる要約抽出法(l^2$ベイズリスクの最小化、フィッシャー情報の最大化、モデル選択アプローチを含む)は、epe最小化の特別または限定的なケースである。
本手法は,合成ベンチマークと集団遺伝問題の両方に適用することにより,忠実度の高い要約統計が得られることを示す。
我々は,実践者に対して具体的な勧告を提供するだけでなく,情報的要約統計を得るための統一的な視点も提供する。
関連論文リスト
- Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。
ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。
これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
論文 参考訳(メタデータ) (2023-11-28T16:46:14Z) - Prediction-Oriented Bayesian Active Learning [51.426960808684655]
予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。
EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-04-17T10:59:57Z) - Variational Factorization Machines for Preference Elicitation in
Large-Scale Recommender Systems [17.050774091903552]
本稿では, 標準のミニバッチ降下勾配を用いて容易に最適化できる因子化機械 (FM) の変分定式化を提案する。
提案アルゴリズムは,ユーザおよび項目パラメータに近似した後続分布を学習し,予測に対する信頼区間を導出する。
いくつかのデータセットを用いて、予測精度の点で既存の手法と同等または優れた性能を示す。
論文 参考訳(メタデータ) (2022-12-20T00:06:28Z) - Fine-grained Retrieval Prompt Tuning [149.9071858259279]
微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。
学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2022-07-29T04:10:04Z) - Improving the Accuracy of Marginal Approximations in Likelihood-Free
Inference via Localisation [0.0]
高次元確率自由推論への有望なアプローチは、低次元の辺縁後部を推定する。
このような低次元近似は、一見直感的な要約統計選択において驚くほど貧弱であることを示す。
実装や自動化が容易な限界推定に対する代替手法を提案する。
論文 参考訳(メタデータ) (2022-07-14T04:56:44Z) - Statistical Analysis of Wasserstein Distributionally Robust Estimators [9.208007322096535]
データ駆動の最適化と学習問題において,分極分布に頑健な定式化を実行する統計的手法を検討する。
結果として得られる分布ロバスト最適化(DRO)の定式化は、最適な輸送現象を用いて規定される。
このチュートリアルは、min-maxの定式化によって選択された逆数の性質に関する洞察と、最適輸送射影のさらなる応用に捧げられている。
論文 参考訳(メタデータ) (2021-08-04T15:45:47Z) - Supervised PCA: A Multiobjective Approach [70.99924195791532]
制御主成分分析法(SPCA)
本研究では,これらの目的を両立させる新しいSPCA手法を提案する。
この手法は、任意の教師付き学習損失に対応し、統計的再構成により、一般化された線形モデルの新しい低ランク拡張を提供する。
論文 参考訳(メタデータ) (2020-11-10T18:46:58Z) - A maximum-entropy approach to off-policy evaluation in average-reward
MDPs [54.967872716145656]
この研究は、無限水平非カウントマルコフ決定過程(MDPs)における関数近似を伴うオフ・ポリティ・アセスメント(OPE)に焦点を当てる。
提案手法は,第1の有限サンプル OPE 誤差境界であり,既存の結果がエピソードおよびディスカウントケースを超えて拡張される。
この結果から,教師あり学習における最大エントロピー的アプローチを並列化して,十分な統計値を持つ指数関数型家族分布が得られた。
論文 参考訳(メタデータ) (2020-06-17T18:13:37Z) - Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。
提案手法は, 十分次元還元法の非パラメトリック一般化である。
推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
論文 参考訳(メタデータ) (2020-06-10T14:47:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。