論文の概要: Towards Data-Algorithm Dependent Generalization: a Case Study on
Overparameterized Linear Regression
- arxiv url: http://arxiv.org/abs/2202.06054v4
- Date: Tue, 21 Nov 2023 07:47:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 06:20:08.241907
- Title: Towards Data-Algorithm Dependent Generalization: a Case Study on
Overparameterized Linear Regression
- Title（参考訳）: data-algorithm依存一般化に向けて--過パラメータ線形回帰を事例として
- Authors: Jing Xu, Jiaye Teng, Yang Yuan, Andrew Chi-Chih Yao
- Abstract要約: 本稿では,データ依存学習軌跡全体の一般化挙動を考察したデータ-アルゴリズム整合性の概念を提案する。
我々は、データ依存軌道解析を行い、そのような環境での互換性に十分な条件を導出する。
- 参考スコア（独自算出の注目度）: 19.047997113063147
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the major open problems in machine learning is to characterize
generalization in the overparameterized regime, where most traditional
generalization bounds become inconsistent even for overparameterized linear
regression. In many scenarios, this failure can be attributed to obscuring the
crucial interplay between the training algorithm and the underlying data
distribution. This paper demonstrate that the generalization behavior of
overparameterized model should be analyzed in a both data-relevant and
algorithm-relevant manner. To make a formal characterization, We introduce a
notion called data-algorithm compatibility, which considers the generalization
behavior of the entire data-dependent training trajectory, instead of
traditional last-iterate analysis. We validate our claim by studying the
setting of solving overparameterized linear regression with gradient descent.
Specifically, we perform a data-dependent trajectory analysis and derive a
sufficient condition for compatibility in such a setting. Our theoretical
results demonstrate that if we take early stopping iterates into consideration,
generalization can hold with significantly weaker restrictions on the problem
instance than the previous last-iterate analysis.
- Abstract（参考訳）: 機械学習における主要なオープンな問題の1つは、過パラメータ化された状態における一般化を特徴づけることであり、ほとんどの伝統的な一般化境界は過パラメータ化された線形回帰に対しても矛盾する。
多くのシナリオにおいて、この失敗はトレーニングアルゴリズムと基礎となるデータ分散との間の重要な相互作用を損なうことに起因している。
本稿では,過剰パラメータモデルの一般化挙動を,データ関係とアルゴリズム関連の両方で解析する。
形式的特徴付けを行うために,従来のラストイテレート解析ではなく,データ依存学習軌跡全体の一般化挙動を考察した,data-algorithm compatibilityという概念を導入する。
勾配降下による過度パラメータ化線形回帰の解法について検討し,本主張を検証した。
具体的には、データ依存軌道解析を行い、そのような環境での互換性に十分な条件を導出する。
理論的には, 早期停止イテレートを考慮に入れると, 一般化は前回のラストイテレート解析よりも, 問題インスタンスの制限がかなり弱く抑えられることを示した。
関連論文リスト
- On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds [11.30047438005394]
本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。
我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
論文 参考訳（メタデータ） (2024-10-21T14:53:12Z) - A Statistical Theory of Regularization-Based Continual Learning [10.899175512941053]
線形回帰タスクの順序に基づく正規化に基づく連続学習の統計的解析を行う。
まず、全てのデータが同時に利用可能であるかのように得られたオラクル推定器の収束率を導出する。
理論解析の副産物は、早期停止と一般化された$ell$-regularizationの等価性である。
論文 参考訳（メタデータ） (2024-06-10T12:25:13Z) - Understanding Generalization of Federated Learning via Stability:
Heterogeneity Matters [1.4502611532302039]
一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。
一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。
論文 参考訳（メタデータ） (2023-06-06T16:12:35Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - On the generalization of learning algorithms that do not converge [54.122745736433856]
ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。
最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
論文 参考訳（メタデータ） (2022-08-16T21:22:34Z) - Towards Understanding Generalization via Decomposing Excess Risk
Dynamics [13.4379473119565]
一般化力学を解析してアルゴリズム依存境界(安定性など)を導出する。
ニューラルネットは、ノイズの嵌合時に緩やかな収束率を示すという観測から着想を得て、余剰リスクダイナミクスを分解することを提案する。
分解の枠組みの下では、新しい境界は安定性に基づく境界と一様収束境界よりも理論的および経験的証拠とよく一致している。
論文 参考訳（メタデータ） (2021-06-11T03:42:45Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Generalization Error of Generalized Linear Models in High Dimensions [25.635225717360466]
任意の非線形性を持つニューラルネットワークを特徴付けるためのフレームワークを提供する。
正規ロジスティック回帰が学習に与える影響を解析する。
また,本モデルでは,特別事例の学習と配布の事例も捉えている。
論文 参考訳（メタデータ） (2020-05-01T02:17:47Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳（メタデータ） (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。