論文の概要: Minimax Linear Regression under the Quantile Risk

• arxiv url: http://arxiv.org/abs/2406.12145v1
• Date: Mon, 17 Jun 2024 23:24:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 23:28:06.631289
• Title: Minimax Linear Regression under the Quantile Risk
• Title（参考訳）: 量子リスク下におけるミニマックス線形回帰
• Authors: Ayoub El Hanchi, Chris J. Maddison, Murat A. Erdogdu,
• Abstract要約: 量子リスク下での線形回帰におけるミニマックス法の設計問題について検討する。 我々は,最近提案されたmin-max回帰法の変種における最悪のケース量子化リスクに一致する上限を証明した。
• 参考スコア（独自算出の注目度）: 31.277788690403522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of designing minimax procedures in linear regression under the quantile risk. We start by considering the realizable setting with independent Gaussian noise, where for any given noise level and distribution of inputs, we obtain the exact minimax quantile risk for a rich family of error functions and establish the minimaxity of OLS. This improves on the known lower bounds for the special case of square error, and provides us with a lower bound on the minimax quantile risk over larger sets of distributions. Under the square error and a fourth moment assumption on the distribution of inputs, we show that this lower bound is tight over a larger class of problems. Specifically, we prove a matching upper bound on the worst-case quantile risk of a variant of the recently proposed min-max regression procedure, thereby establishing its minimaxity, up to absolute constants. We illustrate the usefulness of our approach by extending this result to all $p$-th power error functions for $p \in (2, \infty)$. Along the way, we develop a generic analogue to the classical Bayesian method for lower bounding the minimax risk when working with the quantile risk, as well as a tight characterization of the quantiles of the smallest eigenvalue of the sample covariance matrix.
• Abstract（参考訳）: 量子リスク下での線形回帰におけるミニマックス法の設計問題について検討する。 まず、任意のノイズレベルと入力の分布に対して、豊富な誤差関数の族に対して正確な極小量子化リスクを求め、OLSの極小性を確立する独立ガウス雑音による実現可能な設定を考える。 これにより、平方誤差の特別な場合の既知の下界が改善され、より大きな分布集合よりも極小量子化リスクの低い境界が得られる。 入力の分布に関する四分数誤差と四分数仮定の下では、この下限がより大きい問題に対して厳密であることが示される。 具体的には、最近提案されたmin-max回帰法の変種における最悪の量子化リスクの上限が一致することを証明し、絶対定数までその最小値を確立する。 この結果を、$p \in (2, \infty)$に対するすべての$p$-thパワーエラー関数に拡張することで、我々のアプローチの有用性を説明する。 その過程で、古典的ベイズ法に類似した、量子化リスクを扱う際のミニマックスリスクを低く抑える方法や、サンプル共分散行列の最小固有値の量子化の厳密なキャラクタリゼーションを開発する。

関連論文リスト

• High-probability minimax lower bounds [2.5993680263955947]
  ミニマックス量子化の概念を導入し、その量子化レベルへの依存を明確にする。 我々は、古典的なル・カム法とファノ法の高確率変種を開発し、局所的なミニマックスリスクの下限をミニマックス量子化上の下限に変換する技術を開発した。
  論文  参考訳（メタデータ） (2024-06-19T11:15:01Z)
• Optimal minimax rate of learning interaction kernels [7.329333373512536]
  広帯域の交換可能な分布に対して最適な収束率を得るための最小二乗推定器(tLSE)を導入する。 以上の結果から, 大きな試料限界の逆問題が保たれた場合, 左テール確率はバイアス分散トレードオフを変化させないことがわかった。
  論文  参考訳（メタデータ） (2023-11-28T15:01:58Z)
• Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression [12.443289202402761]
  最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点を示す。 最適なバッチサイズを特徴付け、ノイズレベルに逆比例することを示す。 また,Weiner係数と同等の係数によるバッチ最小ノルム推定器の縮小がさらに安定化し,全ての設定において2次リスクを低くすることを示した。
  論文  参考訳（メタデータ） (2023-06-14T11:02:08Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• A Unifying Theory of Thompson Sampling for Continuous Risk-Averse Bandits [91.3755431537592]
  本稿では,多腕バンディット問題に対するリスク-逆トンプソンサンプリングアルゴリズムの解析を統一する。 大規模偏差理論における収縮原理を用いることで、連続リスク汎関数に対する新しい濃度境界が証明される。 リスク関数の幅広いクラスと「ニセ」関数が連続性条件を満たすことを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:09:01Z)
• On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
  回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。 私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
  論文  参考訳（メタデータ） (2021-02-24T04:47:55Z)
• Nearly Dimension-Independent Sparse Linear Bandit over Small Action Spaces via Best Subset Selection [71.9765117768556]
  本研究では,高次元線形モデルの下での文脈的帯域問題について考察する。 この設定は、パーソナライズされたレコメンデーション、オンライン広告、パーソナライズされた医療など、不可欠な応用を見出す。 本稿では,最適部分集合選択法を用いて2重成長エポックを推定する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-04T04:10:39Z)
• Learning Minimax Estimators via Online Learning [55.92459567732491]
  確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。 混合ケースナッシュ平衡を求めるアルゴリズムを構築した。
  論文  参考訳（メタデータ） (2020-06-19T22:49:42Z)
• Constrained regret minimization for multi-criterion multi-armed bandits [5.349852254138086]
  リスク制約を条件として,所与の時間的地平線上での後悔の最小化の問題について検討する。 本稿では,対数的後悔を保証するリスク制約付き低信頼境界アルゴリズムを提案する。 我々は,リスク制約付き後悔最小化アルゴリズムの性能に低い限界を証明した。
  論文  参考訳（メタデータ） (2020-06-17T04:23:18Z)
• On Suboptimality of Least Squares with Application to Estimation of Convex Bodies [74.39616164169131]
  雑音支援関数の測定から得られる凸を次元$dgeq 6$で推定する際、最小広場の最適性に関するオープンな問題を解決した。 Least Squaresは準最適であり、$tildeTheta_d(n-2/(d-1))$であるのに対して、minimaxレートは$Theta_d(n-4/(d+3)$である。
  論文  参考訳（メタデータ） (2020-06-07T05:19:00Z)
• Risk of the Least Squares Minimum Norm Estimator under the Spike Covariance Model [0.0]
  パラメータ数$d$が$n$と$fracdn rightarrow infty$に依存するとき、最小ノルム最小二乗推定子のリスクを研究する。 この設定では、最小ノルム最小二乗推定器のリスクは、ヌル推定器のリスクと比較して消える。
  論文  参考訳（メタデータ） (2019-12-31T16:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。