論文の概要: Can we globally optimize cross-validation loss? Quasiconvexity in ridge regression

• arxiv url: http://arxiv.org/abs/2107.09194v1
• Date: Mon, 19 Jul 2021 23:22:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 15:05:15.209015
• Title: Can we globally optimize cross-validation loss? Quasiconvexity in ridge regression
• Title（参考訳）: グローバルにクロスバリデーションの損失を最適化できるか? リッジ回帰における準凸性
• Authors: William T. Stephenson and Zachary Frangella and Madeleine Udell and Tamara Broderick
• Abstract要約: 尾根回帰の場合, CV損失は準研究ではなく, 複数の局所的最適度を有する可能性がある。 より一般に、準平坦状態は最適なデータ応答の多くの特性とは無関係であることを示す。
• 参考スコア（独自算出の注目度）: 38.18195443944592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Models like LASSO and ridge regression are extensively used in practice due to their interpretability, ease of use, and strong theoretical guarantees. Cross-validation (CV) is widely used for hyperparameter tuning in these models, but do practical optimization methods minimize the true out-of-sample loss? A recent line of research promises to show that the optimum of the CV loss matches the optimum of the out-of-sample loss (possibly after simple corrections). It remains to show how tractable it is to minimize the CV loss. In the present paper, we show that, in the case of ridge regression, the CV loss may fail to be quasiconvex and thus may have multiple local optima. We can guarantee that the CV loss is quasiconvex in at least one case: when the spectrum of the covariate matrix is nearly flat and the noise in the observed responses is not too high. More generally, we show that quasiconvexity status is independent of many properties of the observed data (response norm, covariate-matrix right singular vectors and singular-value scaling) and has a complex dependence on the few that remain. We empirically confirm our theory using simulated experiments.
• Abstract（参考訳）: LASSOやリッジレグレッションのようなモデルは、解釈可能性、使いやすさ、強力な理論的保証のために実際に広く使われている。 クロスバリデーション (cross-validation, cv) は, ハイパーパラメータチューニングに広く用いられているが, 実効的最適化手法は実例の損失を最小限に抑えるか? 最近の研究では、cv損失の最適値がサンプル損失の最適値(おそらく単純な補正後)に一致することが示されている。 CVの損失を最小限に抑えるのがどれだけ難しいかは明らかになっていない。 本報告では,尾根回帰の場合,CV損失は準凸にならず,複数の局所的最適値を有する可能性があることを示す。 少なくとも1つのケースにおいて、cv損失が準凸であることを保証することができる:共変量行列のスペクトルがほぼ平坦で、観測された応答のノイズがあまり高くないとき。 より一般に、準凸状態は観測データ(応答ノルム、共変行列右特異ベクトル、特異値スケーリング)の多くの性質とは独立であり、残る数に複素依存していることを示している。 我々はシミュレーション実験によって理論を実証する。

関連論文リスト

• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Oversampling Divide-and-conquer for Response-skewed Kernel Ridge Regression [20.00435452480056]
  本研究では,分割・分散手法の限界を克服するために,新しい応答適応分割戦略を開発する。 提案手法は, 従来のダックKRR推定値よりも小さい平均二乗誤差(AMSE)を有することを示す。
  論文  参考訳（メタデータ） (2021-07-13T04:01:04Z)
• Noisy Linear Convergence of Stochastic Gradient Descent for CV@R Statistical Learning under Polyak-{\L}ojasiewicz Conditions [4.721069729610892]
  Conditional Value-at-Risk(mathrmCV@R$)は、最も一般的なリスク対策の1つである。 私たちは、$mathrmCV@R$が教師付き統計学習のパフォーマンス基準として使用できることを証明します。
  論文  参考訳（メタデータ） (2020-12-14T18:22:53Z)
• When to Impute? Imputation before and during cross-validation [0.0]
  クロスバリデーション (CV) は予測モデルの一般化誤差を推定する手法である。 パイプライン全体の外部テストセットへの適用を模倣するために、CVの複製毎に全ステップを実行することが推奨されている。
  論文  参考訳（メタデータ） (2020-10-01T23:04:16Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)
• Classification vs regression in overparameterized regimes: Does the loss function matter? [21.75115239010008]
  最小二乗最小ノルムで得られる解は、通常回帰に使用されるもので、ハードマージン支援ベクトルマシン(SVM)が生成したものと同一であることを示す。 本研究は, トレーニングフェーズ(最適化)とテストフェーズ(一般化)において, 損失関数の役割と特性が全く異なることを示すものである。
  論文  参考訳（メタデータ） (2020-05-16T17:58:25Z)
• Imputation for High-Dimensional Linear Regression [8.841513006680886]
  LASSOは乱数設定において最小推定率を保持することを示す。 この設定では、共同根源は未成年のままである。
  論文  参考訳（メタデータ） (2020-01-24T19:54:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。