論文の概要: Learning Minimax Estimators via Online Learning
- arxiv url: http://arxiv.org/abs/2006.11430v1
- Date: Fri, 19 Jun 2020 22:49:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 04:32:51.147318
- Title: Learning Minimax Estimators via Online Learning
- Title（参考訳）: オンライン学習によるミニマックス推定器の学習
- Authors: Kartik Gupta, Arun Sai Suggala, Adarsh Prasad, Praneeth Netrapalli,
Pradeep Ravikumar
- Abstract要約: 確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。
混合ケースナッシュ平衡を求めるアルゴリズムを構築した。
- 参考スコア（独自算出の注目度）: 55.92459567732491
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of designing minimax estimators for estimating the
parameters of a probability distribution. Unlike classical approaches such as
the MLE and minimum distance estimators, we consider an algorithmic approach
for constructing such estimators. We view the problem of designing minimax
estimators as finding a mixed strategy Nash equilibrium of a zero-sum game. By
leveraging recent results in online learning with non-convex losses, we provide
a general algorithm for finding a mixed-strategy Nash equilibrium of general
non-convex non-concave zero-sum games. Our algorithm requires access to two
subroutines: (a) one which outputs a Bayes estimator corresponding to a given
prior probability distribution, and (b) one which computes the worst-case risk
of any given estimator. Given access to these two subroutines, we show that our
algorithm outputs both a minimax estimator and a least favorable prior. To
demonstrate the power of this approach, we use it to construct provably minimax
estimators for classical problems such as estimation in the finite Gaussian
sequence model, and linear regression.
- Abstract（参考訳）: 確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。
MLEや最小距離推定器のような古典的手法とは異なり、そのような推定器を構築するアルゴリズム的なアプローチを考える。
我々はミニマックス推定器をゼロサムゲームの混合戦略ナッシュ均衡として設計する問題を考察する。
非凸損失を伴うオンライン学習の最近の結果を活用することで、一般の非凸ゼロサムゲームの混合戦略ナッシュ均衡を求めるアルゴリズムを提供する。
我々のアルゴリズムは2つのサブルーチンにアクセスする必要がある。
(a)所定の事前確率分布に対応するベイズ推定器を出力するもの、
(b)任意の推定者の最悪の場合のリスクを計算するもの
これら2つのサブルーチンにアクセスすると、我々のアルゴリズムはミニマックス推定器と最寄りの予測器の両方を出力することを示す。
このアプローチのパワーを実証するために、有限ガウス列モデルにおける推定や線形回帰といった古典的問題に対する証明可能なミニマックス推定器を構築する。
関連論文リスト
- Minimax optimality of deep neural networks on dependent data via PAC-Bayes bounds [3.9041951045689305]
Schmidt-Hieber (2020) は、最小二乗回帰推定のためにReLuを活性化したディープニューラルネットワークの最小最適性を証明した。
我々は、最小二乗およびロジスティック回帰を含むより一般的な機械学習問題について研究する。
我々は、ロジスティック損失を伴う分類の類似の下限を確立し、提案したDNN推定器がミニマックスの意味で最適であることを証明した。
論文 参考訳（メタデータ） (2024-10-29T03:37:02Z) - Smoothed Analysis of Sequential Probability Assignment [16.090378928208885]
本稿では,情報理論的に最適であるminmaxレートと,最大極大推定器オラクルを含むアルゴリズム削減の枠組みについて検討する。
提案手法は,スムーズな逆数に対する逐次確率割当のためのミニマックスレートから,トランスダクティブ学習のためのミニマックスレートへの汎用的な削減を実現する。
論文 参考訳（メタデータ） (2023-03-08T19:25:57Z) - Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。
演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文 参考訳（メタデータ） (2022-01-21T02:46:57Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳（メタデータ） (2021-07-05T21:05:11Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。
我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
論文 参考訳（メタデータ） (2020-10-11T19:05:49Z) - Lower Bounds and a Near-Optimal Shrinkage Estimator for Least Squares
using Random Projections [37.27708297562079]
ガウススケッチを用いた最小二乗解に対する改良された推定器を導出する。
経験的に、この推定器はシミュレーションと実際のデータセットの誤差を小さくする。
論文 参考訳（メタデータ） (2020-06-15T06:42:18Z) - Breaking the Sample Size Barrier in Model-Based Reinforcement Learning
with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。
最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。
対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-05-26T17:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。