論文の概要: Quantifying Overfitting along the Regularization Path for Two-Part-Code MDL in Supervised Classification

• arxiv url: http://arxiv.org/abs/2503.02110v1
• Date: Mon, 03 Mar 2025 22:52:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:24:42.378330
• Title: Quantifying Overfitting along the Regularization Path for Two-Part-Code MDL in Supervised Classification
• Title（参考訳）: 教師付き分類における2部符号MDLの正規化経路に沿ったオーバーフィッティングの定量化
• Authors: Xiaohan Zhu, Nathan Srebro,
• Abstract要約: バイナリ分類のための2部分符号最小記述長(MDL)学習規則の正規化曲線全体の完全な特徴付けを行う。 citetGLは、非依存のPAC(頻繁な最悪のケース)の観点から、一貫性の欠如を確立していた。 正規化パラメータ$lambda$とノイズレベルの関数として、最悪のケース制限エラーを正確に定量的に記述する。
• 参考スコア（独自算出の注目度）: 22.75353418857447
• License:
• Abstract: We provide a complete characterization of the entire regularization curve of a modified two-part-code Minimum Description Length (MDL) learning rule for binary classification, based on an arbitrary prior or description language. \citet{GL} previously established the lack of asymptotic consistency, from an agnostic PAC (frequentist worst case) perspective, of the MDL rule with a penalty parameter of $\lambda=1$, suggesting that it underegularizes. Driven by interest in understanding how benign or catastrophic under-regularization and overfitting might be, we obtain a precise quantitative description of the worst case limiting error as a function of the regularization parameter $\lambda$ and noise level (or approximation error), significantly tightening the analysis of \citeauthor{GL} for $\lambda=1$ and extending it to all other choices of $\lambda$.
• Abstract（参考訳）: 本稿では、任意の事前言語や記述言語に基づいて、バイナリ分類のための2部分符号最小記述長(MDL)学習規則の正規化曲線全体の完全な特徴付けを行う。 以前 \citet{GL} は、MDL ルールの Agnostic PAC (frequantist worst case) の観点から、ペナルティパラメータが $\lambda=1$ であることから、漸近的一貫性の欠如を確立していた。 正則化パラメータ $\lambda$ とノイズレベル (あるいは近似誤差) の関数として、最悪のケース制限エラーを正確に定量的に記述し、$\lambda=1$ に対して \citeauthor{GL} の分析を著しく強化し、それを $\lambda$ の他のすべての選択肢に拡張する。

関連論文リスト

• A Generalized Alternating Method for Bilevel Learning under the Polyak-{\L}ojasiewicz Condition [63.66516306205932]
  バイレベル最適化は、その新興機械学習分野への応用により、最近、関心を取り戻している。 最近の結果は、単純な反復に基づくイテレーションは、低レベルな目標の凸に起因する利害と一致することを示しています。
  論文  参考訳（メタデータ） (2023-06-04T17:54:11Z)
• Two Sides of One Coin: the Limits of Untuned SGD and the Power of Adaptive Methods [22.052459124774504]
  本研究では,未調整のSGDに対する適応的手法により,スムーズさと情報優位性で問題を緩和することを示す。 この結果から, 指数関数依存性が欠如している場合, 未修正SGDに対する適応手法の理論的正当性について検討した。
  論文  参考訳（メタデータ） (2023-05-21T14:40:43Z)
• Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum Minimization [52.25843977506935]
  有限サム構造をもつ$L$-smooth, non-deuction関数に対して, AdaSpider と呼ばれる適応分散法を提案する。 そうすることで、$tildeOleft + st/epsilonコールで$epsilon-stationaryポイントを計算することができます。
  論文  参考訳（メタデータ） (2022-11-03T14:41:46Z)
• Best Policy Identification in Linear MDPs [70.57916977441262]
  縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。 複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
  論文  参考訳（メタデータ） (2022-08-11T04:12:50Z)
• $\ell_p$ Slack Norm Support Vector Data Description [0.0]
  このモデリング形式を一般の$ell_p$-norm(pgeq1$)スラックペナルティ関数に一般化する。 $ell_p$ slack ノルムにより、提案手法はスラックスに関して非線形コスト関数を定式化することができる。
  論文  参考訳（メタデータ） (2022-03-16T20:38:37Z)
• Optimal Online Generalized Linear Regression with Stochastic Noise and Its Application to Heteroscedastic Bandits [88.6139446295537]
  一般化線形モデルの設定におけるオンライン一般化線形回帰の問題について検討する。 ラベルノイズに対処するため、古典的追従正規化リーダ(FTRL)アルゴリズムを鋭く解析する。 本稿では,FTRLに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-28T08:25:26Z)
• Black-Box Generalization [31.80268332522017]
  微分一般化によるブラックボックス学習のための最初の誤り解析を行う。 どちらの一般化も独立$d$,$K$であり、適切な選択の下では学習率がわずかに低下していることを示す。
  論文  参考訳（メタデータ） (2022-02-14T17:14:48Z)
• Optimal and instance-dependent guarantees for Markovian linear stochastic approximation [47.912511426974376]
  標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。 マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
  論文  参考訳（メタデータ） (2021-12-23T18:47:50Z)
• What Happens after SGD Reaches Zero Loss? --A Mathematical Framework [35.31946061894308]
  SGD(Gradient Descent)の暗黙のバイアスを理解することは、ディープラーニングにおける重要な課題の1つである。 本稿では、Katzenberger (1991) のアイデアを適応させることにより、そのような分析の一般的な枠組みを提供する。 1) a global analysis of the implicit bias for $eta-2$ steps, not to the local analysis of Blanc et al. (2020) that is only for $eta-1.6$ steps and (2) allowing any noise covariance。
  論文  参考訳（メタデータ） (2021-10-13T17:50:46Z)
• Label Noise SGD Provably Prefers Flat Global Minimizers [48.883469271546076]
  過度パラメータ化モデルでは、勾配降下(SGD)のノイズは最適化軌道を暗黙的に規則化し、どの局所最小SGDが収束するかを決定する。 ラベルノイズを持つSGDが正規化損失$L(theta) +lambda R(theta)$の定常点に収束することを示す。 解析の結果,線形スケーリング法則を超越した大規模学習率の正規化効果が明らかとなった。
  論文  参考訳（メタデータ） (2021-06-11T17:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。