論文の概要: Distribution-dependent Generalization Bounds for Tuning Linear Regression Across Tasks

• arxiv url: http://arxiv.org/abs/2507.05084v1
• Date: Mon, 07 Jul 2025 15:08:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.467425
• Title: Distribution-dependent Generalization Bounds for Tuning Linear Regression Across Tasks
• Title（参考訳）: タスク間の線形回帰調整のための分布依存的一般化境界
• Authors: Maria-Florina Balcan, Saumya Goyal, Dravyansh Sharma,
• Abstract要約: L1係数とL2係数をチューニングする際の検証損失に対する一般化誤差の分布依存境界を求める。 我々はその結果をリッジ回帰の一般化にまで拡張し、そこでは基底真理分布の平均を考慮に入れたより厳密な境界を達成する。
• 参考スコア（独自算出の注目度）: 24.2043855572415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern regression problems often involve high-dimensional data and a careful tuning of the regularization hyperparameters is crucial to avoid overly complex models that may overfit the training data while guaranteeing desirable properties like effective variable selection. We study the recently introduced direction of tuning regularization hyperparameters in linear regression across multiple related tasks. We obtain distribution-dependent bounds on the generalization error for the validation loss when tuning the L1 and L2 coefficients, including ridge, lasso and the elastic net. In contrast, prior work develops bounds that apply uniformly to all distributions, but such bounds necessarily degrade with feature dimension, d. While these bounds are shown to be tight for worst-case distributions, our bounds improve with the "niceness" of the data distribution. Concretely, we show that under additional assumptions that instances within each task are i.i.d. draws from broad well-studied classes of distributions including sub-Gaussians, our generalization bounds do not get worse with increasing d, and are much sharper than prior work for very large d. We also extend our results to a generalization of ridge regression, where we achieve tighter bounds that take into account an estimate of the mean of the ground truth distribution.
• Abstract（参考訳）: 現代の回帰問題は高次元データを伴うことが多く、正規化ハイパーパラメータの注意的なチューニングは、効果的な変数選択のような望ましい性質を保証しながら、トレーニングデータに過度に適合する可能性のある、過度に複雑なモデルを避けるために重要である。 本稿では,最近導入された複数タスク間の線形回帰における正規化ハイパーパラメータのチューニング方向について検討する。 リッジ,ラッソ,弾性ネットを含むL1係数とL2係数をチューニングする際の検証損失の一般化誤差の分布依存境界を求める。 対照的に、先行研究はすべての分布に一様に適用できる境界を発達させるが、そのような境界は必然的に特徴次元 d で退化する。 これらの境界は最悪の場合の分布に対して厳密であることが示されるが、我々の境界はデータ分布の「ニッチ」によって改善される。 具体的には、各タスクのインスタンスが、すなわち、ガウス以下を含む広く研究された分布のクラスから引き出されるという追加の仮定の下では、一般化境界は d の増加とともに悪化せず、非常に大きな d に対する以前の作業よりもはるかにシャープであることを示す。 また、その結果をリッジ回帰の一般化にまで拡張し、基底真理分布の平均の推定を考慮に入れたより厳密な境界を達成する。

関連論文リスト

• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Robustness Implies Generalization via Data-Dependent Generalization Bounds [24.413499775513145]
  本稿では、ロバスト性はデータ依存の一般化境界による一般化を意味することを示す。 本稿では,LassoとDeep Learningのいくつかの例を紹介する。
  論文  参考訳（メタデータ） (2022-06-27T17:58:06Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。