論文の概要: The Shape of Generalization through the Lens of Norm-based Capacity Control

• arxiv url: http://arxiv.org/abs/2502.01585v2
• Date: Mon, 19 May 2025 14:36:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.41762
• Title: The Shape of Generalization through the Lens of Norm-based Capacity Control
• Title（参考訳）: ノーム型容量制御レンズによる一般化の形状
• Authors: Yichen Wang, Yudong Chen, Lorenzo Rosasco, Fanghui Liu,
• Abstract要約: 我々は,ノルムに基づくキャパシティ測定について検討し,ランダムな特徴量に基づく推定器について検討する。 推定器のノルムがどのように集中し、どのように関連するテストエラーを管理するかを正確に評価する。 これは、より古典的なU字型の振る舞いが、サイズよりもモデルノルムに基づく適切なキャパシティ測度を考慮して復元されることを確認する。
• 参考スコア（独自算出の注目度）: 20.88908358215574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how the test risk scales with model complexity is a central question in machine learning. Classical theory is challenged by the learning curves observed for large over-parametrized deep networks. Capacity measures based on parameter count typically fail to account for these empirical observations. To tackle this challenge, we consider norm-based capacity measures and develop our study for random features based estimators, widely used as simplified theoretical models for more complex networks. In this context, we provide a precise characterization of how the estimator's norm concentrates and how it governs the associated test error. Our results show that the predicted learning curve admits a phase transition from under- to over-parameterization, but no double descent behavior. This confirms that more classical U-shaped behavior is recovered considering appropriate capacity measures based on models norms rather than size. From a technical point of view, we leverage deterministic equivalence as the key tool and further develop new deterministic quantities which are of independent interest.
• Abstract（参考訳）: テストリスクがモデル複雑性によってどのようにスケールするかを理解することは、機械学習における中心的な問題である。 古典理論は、大きな過度にパラメータ化された深層ネットワークで観測される学習曲線によって挑戦される。 パラメータ数に基づく容量測定は、一般的にこれらの経験的な観測を考慮できない。 この課題に対処するために、我々はノルムに基づくキャパシティ測定を検討し、より複雑なネットワークの簡易な理論モデルとして広く利用されているランダム特徴量に基づく推定器について研究する。 この文脈では、推定器のノルムがどのように集中し、どのように関連するテストエラーを管理するかを正確に評価する。 以上の結果から,予測学習曲線は過パラメータ化から過パラメータ化への相転移を許容するが,二重降下挙動は認められないことがわかった。 これは、より古典的なU字型の振る舞いが、サイズよりもモデルノルムに基づく適切なキャパシティ測度を考慮して復元されることを確認する。 技術的観点からは、決定論的等価性を鍵となるツールとして活用し、独立性のある新たな決定論的量を開発する。

関連論文リスト

• Deep Equilibrium models for Poisson Imaging Inverse problems via Mirror Descent [7.248102801711294]
  ディープ平衡モデル(Deep Equilibrium Models、DEQ)は、固定点を持つ暗黙のニューラルネットワークである。 我々は、非ユークリッド幾何学の仕方で定義されるミラー・ディクセントに基づく新しいDEC式を導入する。 本稿では,効率的なトレーニングと完全パラメータフリー推論が可能な計算戦略を提案する。
  論文  参考訳（メタデータ） (2025-07-15T16:33:01Z)
• Variational Deep Learning via Implicit Regularization [20.449095674026363]
  最適化手法を用いて,変分深度ネットワークを暗黙的に正規化する方法を示す。 過度にパラメータ化された線形モデルの場合、勾配降下の帰納バイアスを完全に特徴づける。
  論文  参考訳（メタデータ） (2025-05-26T17:15:57Z)
• (Neural-Symbolic) Machine Learning for Inconsistency Measurement [0.0]
  本稿では、命題論理知識ベースに対する不整合(数値値)の次数を決定するための機械学習ベースのアプローチを提案する。 具体的には、不整合度が$incmi$と$incat$が命題論理知識ベースに割り当てる値を予測することを学習する回帰モデルとニューラルベースモデルを提案する。
  論文  参考訳（メタデータ） (2025-02-05T08:00:30Z)
• Norm-Bounded Low-Rank Adaptation [10.22454500514559]
  重み適応行列の各特異値に対する明示的な境界を許容する2つのパラメータ化を導入する。 視覚的微調整ベンチマーク実験により,提案手法は適応性能がよいことを示す。 また、プライバシ保護モデルマージと低ランク行列補完の応用についても検討する。
  論文  参考訳（メタデータ） (2025-01-31T11:24:57Z)
• On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds [11.30047438005394]
  本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。 我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
  論文  参考訳（メタデータ） (2024-10-21T14:53:12Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Variational Bayesian surrogate modelling with application to robust design optimisation [0.9626666671366836]
  サロゲートモデルは複雑な計算モデルに対して素早く評価できる近似を提供する。 入力の不確かさと次元減少を伴う統計的代理を構築するためのベイズ推定について考察する。 コスト関数がモデル出力の平均および標準偏差の重み付け和に依存するような本質的で頑健な構造最適化問題を示す。
  論文  参考訳（メタデータ） (2024-04-23T09:22:35Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Gradient-based bilevel optimization for multi-penalty Ridge regression through matrix differential calculus [0.46040036610482665]
  我々は,l2-正則化を用いた線形回帰問題に対する勾配に基づくアプローチを導入する。 提案手法はLASSO, Ridge, Elastic Netレグレッションよりも優れていることを示す。 勾配の解析は、自動微分と比較して計算時間の観点からより効率的であることが証明されている。
  論文  参考訳（メタデータ） (2023-11-23T20:03:51Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Least Squares Regression Can Exhibit Under-Parameterized Double Descent [6.645111950779666]
  本研究では,学習データ点数,パラメータ数,モデルの一般化能力の関係について検討する。 ピークの位置は、スペクトルとサンプル共分散の固有ベクトルの両方の技術的性質に依存すると仮定する。
  論文  参考訳（メタデータ） (2023-05-24T03:52:48Z)
• Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
  複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。 論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。 本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2023-05-19T08:22:23Z)
• Evaluating Disentanglement in Generative Models Without Knowledge of Latent Factors [71.79984112148865]
  本稿では,学習中に提示される学習力学に基づいて生成モデルのランキング付けを行う手法を提案する。 本手法は,近年の解離の理論的特徴から着想を得たものであり,その根底にある潜伏因子の監督は不要である。
  論文  参考訳（メタデータ） (2022-10-04T17:27:29Z)
• ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
  我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。 実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
  論文  参考訳（メタデータ） (2022-06-24T08:18:05Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• Bias-Variance Trade-off and Overlearning in Dynamic Decision Problems [1.2183405753834562]
  動的決定問題に対する現代のモンテカルロ型アプローチは、経験的損失最小化として再編成される。 これらの計算手法をこのフレームワークで解析し、それらの効果と一般化誤差に対する感受性を実証する。
  論文  参考訳（メタデータ） (2020-11-18T15:36:22Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Asymptotics of Ridge (less) Regression under General Source Condition [26.618200633139256]
  我々は,真の回帰パラメータの構造が果たす役割を考察する。 有界信号-雑音比(SNR)においても(正規化なし)が最適であることを示す。 これは、リッジ回帰を考慮した以前の研究と対照的であり、この場合、無限 SNR の極限においてのみ最適である。
  論文  参考訳（メタデータ） (2020-06-11T13:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。