論文の概要: The Surprising Benefits of Base Rate Neglect in Robust Aggregation
- arxiv url: http://arxiv.org/abs/2406.13490v1
- Date: Wed, 19 Jun 2024 12:20:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 19:53:21.020032
- Title: The Surprising Benefits of Base Rate Neglect in Robust Aggregation
- Title（参考訳）: ロバストアグリゲーションにおけるベースレート無視の意外なメリット
- Authors: Yuqing Kong, Shu Wang, Ying Wang,
- Abstract要約: 私たちの仕事は、基準レートを無視する傾向のある専門家を考慮に入れています。
ある程度のベースレートの無視は、堅牢な予測アグリゲーションに役立ちます。
- 参考スコア（独自算出の注目度）: 14.286448842405678
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robust aggregation integrates predictions from multiple experts without knowledge of the experts' information structures. Prior work assumes experts are Bayesian, providing predictions as perfect posteriors based on their signals. However, real-world experts often deviate systematically from Bayesian reasoning. Our work considers experts who tend to ignore the base rate. We find that a certain degree of base rate neglect helps with robust forecast aggregation. Specifically, we consider a forecast aggregation problem with two experts who each predict a binary world state after observing private signals. Unlike previous work, we model experts exhibiting base rate neglect, where they incorporate the base rate information to degree $\lambda\in[0,1]$, with $\lambda=0$ indicating complete ignorance and $\lambda=1$ perfect Bayesian updating. To evaluate aggregators' performance, we adopt Arieli et al. (2018)'s worst-case regret model, which measures the maximum regret across the set of considered information structures compared to an omniscient benchmark. Our results reveal the surprising V-shape of regret as a function of $\lambda$. That is, predictions with an intermediate incorporating degree of base rate $\lambda<1$ can counter-intuitively lead to lower regret than perfect Bayesian posteriors with $\lambda=1$. We additionally propose a new aggregator with low regret robust to unknown $\lambda$. Finally, we conduct an empirical study to test the base rate neglect model and evaluate the performance of various aggregators.
- Abstract（参考訳）: ロバストアグリゲーションは、専門家の情報構造を知らない複数の専門家の予測を統合する。
以前の研究では、専門家はベイジアンであると仮定し、その信号に基づいて完全な後部座席として予測する。
しかし、現実世界の専門家は、しばしばベイズ的推論から体系的に逸脱する。
私たちの仕事は、基準レートを無視する傾向のある専門家を考慮に入れています。
ある程度のベースレートの無視は、堅牢な予測アグリゲーションに役立ちます。
具体的には,2人の専門家による予測集約問題について考察する。
以前の作業とは異なり、ベースレートの無視を示す専門家をモデル化し、ベースレート情報を$\lambda\in[0,1]$に組み込んで、$\lambda=0$が完全な無知を示し、$\lambda=1$が完全ベイズ更新であることを示す。
アグリゲータのパフォーマンスを評価するために,Arieli et al (2018) の最悪の後悔モデルを採用する。
我々の結果は、$\lambda$の関数として、後悔の驚くべきV字形を明らかにします。
つまり、ベースレートが$\lambda<1$の中間値の予測は、$\lambda=1$の完全なベイズの後続値よりも、反故意に低い後悔につながる可能性がある。
また、未知の$\lambda$に対して、後悔の少ない新しいアグリゲータを提案する。
最後に,ベースレートの無視モデルを検証し,各種アグリゲータの性能を評価するための実験的検討を行った。
関連論文リスト
- Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Optimal score estimation via empirical Bayes smoothing [13.685846094715364]
未知確率分布$rho*$のスコア関数を$n$独立分布および$d$次元における同一分布観測から推定する問題について検討する。
ガウスカーネルに基づく正規化スコア推定器は、一致するミニマックス下界によって最適に示され、この値が得られることを示す。
論文 参考訳（メタデータ） (2024-02-12T16:17:40Z) - Calibrated One Round Federated Learning with Bayesian Inference in the
Predictive Space [27.259110269667826]
フェデレートラーニング(FL)では、クライアント間で分散されたデータセット上でモデルをトレーニングする。
小さくてノイズの多いデータセットは一般的であり、よく校正されたモデルの必要性を強調している。
予測後部の混合と積を補間するベイズFLアルゴリズムである$beta$-Predictive Bayesを提案する。
論文 参考訳（メタデータ） (2023-12-15T14:17:16Z) - Functional Ensemble Distillation [18.34081591772928]
本研究では,効率的なモデルを用いて,アンサンブルの予測を最もよく蒸留する方法を検討する。
混合増量方式による簡易増量方式による蒸留モデルの学習により, 性能が著しく向上することが判明した。
論文 参考訳（メタデータ） (2022-06-05T14:07:17Z) - Sharp regret bounds for empirical Bayes and compound decision problems [42.397889421982555]
ベイズ設定では、最適推定器は事前依存条件平均によって与えられる。
コンパクトにサポートされた部分指数前のPoissonモデルに対して、最適の後悔スケールは $Theta(fraclog nloglog n)2)$ と $Theta(log3 n)$ である。
論文 参考訳（メタデータ） (2021-09-08T21:34:47Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Fast Rates for the Regret of Offline Reinforcement Learning [69.23654172273085]
無限水平割引決定プロセス(MDP)における固定行動ポリシーによって生成されたオフラインデータからの強化学習の後悔について検討する。
最適品質関数 $Q*$ に対する任意の推定が与えられたとき、定義するポリシーの後悔は、$Q*$-estimate の点収束率の指数によって与えられる速度で収束することを示す。
論文 参考訳（メタデータ） (2021-01-31T16:17:56Z) - Optimal Algorithms for Stochastic Multi-Armed Bandits with Heavy Tailed
Rewards [24.983866845065926]
我々は、重い尾の報酬を持つマルチアームのバンディットを考えており、そのp$-thのモーメントは、定数$nu_p$が1pleq2$である。
本稿では,従来の情報として$nu_p$を必要としない新しいロバストな推定器を提案する。
提案した推定器の誤差確率は指数関数的に高速に減衰することを示す。
論文 参考訳（メタデータ） (2020-10-24T10:44:02Z) - Nonparametric Estimation of the Fisher Information and Its Applications [82.00720226775964]
本稿では,大きさn$のランダムサンプルからフィッシャー情報の位置推定の問題について考察する。
Bhattacharyaにより提案された推定器を再検討し、収束率の向上を導出する。
クリッピング推定器と呼ばれる新しい推定器を提案する。
論文 参考訳（メタデータ） (2020-05-07T17:21:56Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。