論文の概要: Mitigating multiple descents: A model-agnostic framework for risk monotonization

• arxiv url: http://arxiv.org/abs/2205.12937v1
• Date: Wed, 25 May 2022 17:41:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 14:03:09.085103
• Title: Mitigating multiple descents: A model-agnostic framework for risk monotonization
• Title（参考訳）: リスク単調化のためのモデル非依存フレームワーク
• Authors: Pratik Patil, Arun Kumar Kuchibhotla, Yuting Wei, Alessandro Rinaldo
• Abstract要約: クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 84.6382406922369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent empirical and theoretical analyses of several commonly used prediction procedures reveal a peculiar risk behavior in high dimensions, referred to as double/multiple descent, in which the asymptotic risk is a non-monotonic function of the limiting aspect ratio of the number of features or parameters to the sample size. To mitigate this undesirable behavior, we develop a general framework for risk monotonization based on cross-validation that takes as input a generic prediction procedure and returns a modified procedure whose out-of-sample prediction risk is, asymptotically, monotonic in the limiting aspect ratio. As part of our framework, we propose two data-driven methodologies, namely zero- and one-step, that are akin to bagging and boosting, respectively, and show that, under very mild assumptions, they provably achieve monotonic asymptotic risk behavior. Our results are applicable to a broad variety of prediction procedures and loss functions, and do not require a well-specified (parametric) model. We exemplify our framework with concrete analyses of the minimum $\ell_2$, $\ell_1$-norm least squares prediction procedures. As one of the ingredients in our analysis, we also derive novel additive and multiplicative forms of oracle risk inequalities for split cross-validation that are of independent interest.
• Abstract（参考訳）: 最近のいくつかの一般的な予測手法の実証的および理論的解析により、二重/多重降下(double/multiple descent)と呼ばれる高次元の特異なリスク挙動が示され、漸近的リスクは標本サイズに対する特徴やパラメータの数の制限アスペクト比の非単調関数である。 この望ましくない挙動を緩和するため,我々は,一般的な予測手順を入力とし,制限アスペクト比が漸近的に単調である修正手順を返すクロスバリデーションに基づくリスク単調化の一般的な枠組みを開発した。 私たちのフレームワークでは,袋詰めとブースティングに類似した2つのデータ駆動手法,すなわちゼロステップとワンステップを提案し,非常に穏やかな仮定の下で,単調な漸近的リスク行動を実現することを実証する。 我々の結果は様々な予測手順や損失関数に適用でき、十分に特定された(パラメトリック)モデルを必要としない。 我々は、最小$\ell_2$, $\ell_1$-norm最小二乗予測手順の具体的な分析で、我々のフレームワークを例示する。 また,本分析の要素の一つとして,独立性を有する分岐型クロスバリデーションにおける新規な付加的および乗法的オラクルリスク不等式を導出する。

関連論文リスト

• Precise analysis of ridge interpolators under heavy correlations -- a Random Duality Theory view [0.0]
  EmphRandom Duality Theory (RDT) を用いて, 関心量の最適化に係わるすべての推定器の正確なクローズドな形状のキャラクタリゼーションが得られることを示す。
  論文  参考訳（メタデータ） (2024-06-13T14:56:52Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Prediction Risk and Estimation Risk of the Ridgeless Least Squares Estimator under General Assumptions on Regression Errors [10.857775300638831]
  より一般的な回帰誤差仮定の下で予測リスクと推定リスクについて検討する。 その結果,パラメータ化の利点は時系列,パネル,グループ化データにまで拡張できることが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T10:04:20Z)
• Vector-Valued Least-Squares Regression under Output Regularity Assumptions [73.99064151691597]
  最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。 提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
  論文  参考訳（メタデータ） (2022-11-16T15:07:00Z)
• Bagging in overparameterized learning: Risk characterization and risk monotonization [2.6534407766508177]
  本研究では, 比例法の下で, 適応型予測器の変種予測リスクについて検討した。 具体的には,タグ付き予測器の2乗誤差損失下での予測リスクを解析するための一般的な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-20T17:45:58Z)
• Predictive Multiplicity in Probabilistic Classification [25.111463701666864]
  確率的分類における予測的乗数性を測定するための枠組みを提案する。 実世界のタスクにおける予測多重度の発生頻度と頻度を実証する。 その結果,予測多重度をより広範囲に報告する必要性が強調された。
  論文  参考訳（メタデータ） (2022-06-02T16:25:29Z)
• Empirical or Invariant Risk Minimization? A Sample Complexity Perspective [49.43806345820883]
  In-variant risk generalization (IRM) が広く採用されている経験的リスク最小化(ERM)フレームワークよりも好まれるかどうかは不明である。 データ生成機構の種類によって、2つのアプローチは、非常に異なる有限サンプルと振舞いを持つ可能性がある。 さらに、OOD溶液からの距離に関して、異なる要因(環境の数、モデルの複雑さ、およびIRMのペナルティ重量)がIRMのサンプルの複雑さにどのように影響するかについても検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:55:30Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。