論文の概要: Optimal Implicit Bias in Linear Regression

• arxiv url: http://arxiv.org/abs/2506.17187v1
• Date: Fri, 20 Jun 2025 17:41:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.570942
• Title: Optimal Implicit Bias in Linear Regression
• Title（参考訳）: 線形回帰における最適インシシットバイアス
• Authors: Kanumuri Nithin Varma, Babak Hassibi,
• Abstract要約: 最適な一般化性能につながる最適の暗黙バイアスが見つかる。 特に、このクラスの補間子の中で可能な最高の一般化誤差の厳密な下界を得る。
• 参考スコア（独自算出の注目度）: 20.710343135282116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most modern learning problems are over-parameterized, where the number of learnable parameters is much greater than the number of training data points. In this over-parameterized regime, the training loss typically has infinitely many global optima that completely interpolate the data with varying generalization performance. The particular global optimum we converge to depends on the implicit bias of the optimization algorithm. The question we address in this paper is, ``What is the implicit bias that leads to the best generalization performance?". To find the optimal implicit bias, we provide a precise asymptotic analysis of the generalization performance of interpolators obtained from the minimization of convex functions/potentials for over-parameterized linear regression with non-isotropic Gaussian data. In particular, we obtain a tight lower bound on the best generalization error possible among this class of interpolators in terms of the over-parameterization ratio, the variance of the noise in the labels, the eigenspectrum of the data covariance, and the underlying distribution of the parameter to be estimated. Finally, we find the optimal convex implicit bias that achieves this lower bound under certain sufficient conditions involving the log-concavity of the distribution of a Gaussian convolved with the prior of the true underlying parameter.
• Abstract（参考訳）: 現代の学習問題のほとんどは過パラメータ化されており、学習可能なパラメータの数はトレーニングデータポイントの数よりもはるかに多い。 この過度パラメータ化された状態において、トレーニング損失は典型的には、データを様々な一般化性能で完全に補間する、無限に多くの大域的最適値を持つ。 収束する特定の大域的最適度は、最適化アルゴリズムの暗黙のバイアスに依存する。 この記事では、「最高の一般化性能につながる暗黙のバイアスは何か? 最適の暗黙バイアスを求めるため,非等方的ガウスデータを用いた過パラメータ線形回帰に対する凸関数/ポテンシャルの最小化から得られる補間器の一般化性能の漸近解析を行った。 特に、過パラメータ化比、ラベル内のノイズの分散、データ共分散の固有スペクトル、推定するパラメータの基底分布といった観点から、このクラスの補間子間で可能な最高の一般化誤差の厳密な下界を得る。 最後に、真基底パラメータの先行と関連するガウス分布の対数共空性を含む一定の条件下で、この下界を達成する最適凸陰性バイアスを求める。

関連論文リスト

• Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization [10.009748368458409]
  本稿では、(構造化された)空間性に対して、明示的に正規化された目的を円滑に最適化するためのフレームワークを提案する。 提案手法は,完全微分可能近似自由最適化を実現し,深層学習におけるユビキタス勾配降下パラダイムと互換性がある。
  論文  参考訳（メタデータ） (2023-07-07T13:06:12Z)
• Bayesian Analysis for Over-parameterized Linear Model via Effective Spectra [6.9060054915724]
  我々は,データ適応型ガウス前処理を導入し,その環境次元よりもデータ固有の複雑さを目標とした。 我々は、スペクトルの質量が予測誤差境界にどのように影響するかを明らかにするために、対応する後部分布の収縮率を確立する。 ベイジアン法は,非スパース,高次元の設定において,データのスペクトル情報を利用した推定に有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-25T06:07:47Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Asymptotics of Ridge (less) Regression under General Source Condition [26.618200633139256]
  我々は,真の回帰パラメータの構造が果たす役割を考察する。 有界信号-雑音比(SNR)においても(正規化なし)が最適であることを示す。 これは、リッジ回帰を考慮した以前の研究と対照的であり、この場合、無限 SNR の極限においてのみ最適である。
  論文  参考訳（メタデータ） (2020-06-11T13:00:21Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。