論文の概要: Sharp Asymptotics and Optimal Performance for Inference in Binary Models
- arxiv url: http://arxiv.org/abs/2002.07284v2
- Date: Wed, 26 Feb 2020 06:14:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-31 13:16:00.058562
- Title: Sharp Asymptotics and Optimal Performance for Inference in Binary Models
- Title(参考訳): 二元モデルにおけるシャープ漸近性と推論の最適性能
- Authors: Hossein Taheri, Ramtin Pedarsani, and Christos Thrampoulidis
- Abstract要約: 二元モデルにおける高次元推論のための凸実験リスクについて検討する。
ロジスティックモデルとプロビットモデルの下でのバイナリ線形分類では、最小二乗法の性能は0.997倍、0.98倍である。
- 参考スコア(独自算出の注目度): 41.7567932118769
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study convex empirical risk minimization for high-dimensional inference in
binary models. Our first result sharply predicts the statistical performance of
such estimators in the linear asymptotic regime under isotropic Gaussian
features. Importantly, the predictions hold for a wide class of convex loss
functions, which we exploit in order to prove a bound on the best achievable
performance among them. Notably, we show that the proposed bound is tight for
popular binary models (such as Signed, Logistic or Probit), by constructing
appropriate loss functions that achieve it. More interestingly, for binary
linear classification under the Logistic and Probit models, we prove that the
performance of least-squares is no worse than 0.997 and 0.98 times the optimal
one. Numerical simulations corroborate our theoretical findings and suggest
they are accurate even for relatively small problem dimensions.
- Abstract(参考訳): 二元モデルにおける高次元推論のための凸実験リスク最小化について検討する。
第1結果は,等方性ガウス的特徴の下での線形漸近的条件下での統計的性能を鋭く予測する。
重要なことに、予測は幅広い凸損失関数を保ち、その中で最も達成可能な性能の限界を証明するために利用します。
特に,提案する境界は,一般的なバイナリモデル(符号付き,ロジスティック,プロビットなど)に対して,それを達成する適切な損失関数を構築することで厳密であることを示す。
より興味深いことに、ロジスティックモデルとプロビットモデルの下でのバイナリ線形分類では、最小二乗法の性能は0.997と0.98倍である。
数値シミュレーションにより, 比較的小さな問題次元においても正確性が示唆された。
関連論文リスト
- Fundamental limits of Non-Linear Low-Rank Matrix Estimation [18.455890316339595]
ベイズ最適性能は、有効前のガウスモデルによって特徴づけられる。
信号を正確に再構成するためには、Nfrac 12 (1-1/k_F)$として増加する信号対雑音比が必要であり、$k_F$は関数の最初のゼロでないフィッシャー情報係数である。
論文 参考訳(メタデータ) (2024-03-07T05:26:52Z) - Adaptive Linear Estimating Equations [5.985204759362746]
本稿では,デバイアス推定器の一般的な構成法を提案する。
適応線形推定方程式の考え方を利用し、正規性の理論的保証を確立する。
我々の推定器の健全な特徴は、マルチアームバンディットの文脈では、我々の推定器は非漸近的な性能を保っていることである。
論文 参考訳(メタデータ) (2023-07-14T12:55:47Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳(メタデータ) (2023-06-13T01:18:16Z) - Off-policy estimation of linear functionals: Non-asymptotic theory for
semi-parametric efficiency [59.48096489854697]
観測データに基づいて線形汎関数を推定する問題は、因果推論と包帯文献の両方において標準的である。
このような手順の平均二乗誤差に対して非漸近上界を証明した。
非漸近的局所ミニマックス下限をマッチングすることにより、有限標本のインスタンス依存最適性を確立する。
論文 参考訳(メタデータ) (2022-09-26T23:50:55Z) - Exploration-exploitation trade-off for continuous-time episodic
reinforcement learning with linear-convex models [2.503869683354711]
線形動的だが未知の係数と凸を持つ有限時間地平面制御問題について検討する。
この性能ギャップが2次的である条件を特定し、最近の作業における線形性能ギャップを改善する。
次に、探索・探索トレードオフを最適化し、サブ線形後悔を実現するための位相ベース学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-12-19T21:47:04Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳(メタデータ) (2021-07-05T21:05:11Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Convex and Nonconvex Optimization Are Both Minimax-Optimal for Noisy
Blind Deconvolution under Random Designs [12.089409241521185]
両対数ランダムノイズの解法における凸緩和と非最適最適化の有効性について検討する。
その結果、最先端の理論的保証が大幅に改善された。
論文 参考訳(メタデータ) (2020-08-04T17:57:02Z) - Non-parametric Models for Non-negative Functions [48.7576911714538]
同じ良い線形モデルから非負関数に対する最初のモデルを提供する。
我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
論文 参考訳(メタデータ) (2020-07-08T07:17:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。