論文の概要: Sharp Asymptotics and Optimal Performance for Inference in Binary Models

• arxiv url: http://arxiv.org/abs/2002.07284v2
• Date: Wed, 26 Feb 2020 06:14:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 13:16:00.058562
• Title: Sharp Asymptotics and Optimal Performance for Inference in Binary Models
• Title（参考訳）: 二元モデルにおけるシャープ漸近性と推論の最適性能
• Authors: Hossein Taheri, Ramtin Pedarsani, and Christos Thrampoulidis
• Abstract要約: 二元モデルにおける高次元推論のための凸実験リスクについて検討する。 ロジスティックモデルとプロビットモデルの下でのバイナリ線形分類では、最小二乗法の性能は0.997倍、0.98倍である。
• 参考スコア（独自算出の注目度）: 41.7567932118769
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study convex empirical risk minimization for high-dimensional inference in binary models. Our first result sharply predicts the statistical performance of such estimators in the linear asymptotic regime under isotropic Gaussian features. Importantly, the predictions hold for a wide class of convex loss functions, which we exploit in order to prove a bound on the best achievable performance among them. Notably, we show that the proposed bound is tight for popular binary models (such as Signed, Logistic or Probit), by constructing appropriate loss functions that achieve it. More interestingly, for binary linear classification under the Logistic and Probit models, we prove that the performance of least-squares is no worse than 0.997 and 0.98 times the optimal one. Numerical simulations corroborate our theoretical findings and suggest they are accurate even for relatively small problem dimensions.
• Abstract（参考訳）: 二元モデルにおける高次元推論のための凸実験リスク最小化について検討する。 第1結果は,等方性ガウス的特徴の下での線形漸近的条件下での統計的性能を鋭く予測する。 重要なことに、予測は幅広い凸損失関数を保ち、その中で最も達成可能な性能の限界を証明するために利用します。 特に,提案する境界は,一般的なバイナリモデル(符号付き,ロジスティック,プロビットなど)に対して,それを達成する適切な損失関数を構築することで厳密であることを示す。 より興味深いことに、ロジスティックモデルとプロビットモデルの下でのバイナリ線形分類では、最小二乗法の性能は0.997と0.98倍である。 数値シミュレーションにより, 比較的小さな問題次元においても正確性が示唆された。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Probabilistic Iterative Hard Thresholding for Sparse Learning [2.5782973781085383]
  本稿では,基本性制約を用いた予測目標最適化問題の解法を提案する。 基礎となるプロセスの収束を証明し、2つの機械学習問題における性能を実証する。
  論文  参考訳（メタデータ） (2024-09-02T18:14:45Z)
• Optimal convex $M$-estimation via score matching [6.115859302936817]
  実験的リスク最小化が回帰係数の下流推定における最適分散をもたらすデータ駆動凸損失関数を構築した。 半パラメトリック手法は、雑音分布の対数密度の導関数の導関数の最も少ない近似を目標とする。
  論文  参考訳（メタデータ） (2024-03-25T12:23:19Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Off-policy estimation of linear functionals: Non-asymptotic theory for semi-parametric efficiency [59.48096489854697]
  観測データに基づいて線形汎関数を推定する問題は、因果推論と包帯文献の両方において標準的である。 このような手順の平均二乗誤差に対して非漸近上界を証明した。 非漸近的局所ミニマックス下限をマッチングすることにより、有限標本のインスタンス依存最適性を確立する。
  論文  参考訳（メタデータ） (2022-09-26T23:50:55Z)
• Exploration-exploitation trade-off for continuous-time episodic reinforcement learning with linear-convex models [2.503869683354711]
  線形動的だが未知の係数と凸を持つ有限時間地平面制御問題について検討する。 この性能ギャップが2次的である条件を特定し、最近の作業における線形性能ギャップを改善する。 次に、探索・探索トレードオフを最適化し、サブ線形後悔を実現するための位相ベース学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-19T21:47:04Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Convex and Nonconvex Optimization Are Both Minimax-Optimal for Noisy Blind Deconvolution under Random Designs [12.089409241521185]
  両対数ランダムノイズの解法における凸緩和と非最適最適化の有効性について検討する。 その結果、最先端の理論的保証が大幅に改善された。
  論文  参考訳（メタデータ） (2020-08-04T17:57:02Z)
• Non-parametric Models for Non-negative Functions [48.7576911714538]
  同じ良い線形モデルから非負関数に対する最初のモデルを提供する。 我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
  論文  参考訳（メタデータ） (2020-07-08T07:17:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。