論文の概要: Revisiting Optimism and Model Complexity in the Wake of Overparameterized Machine Learning
- arxiv url: http://arxiv.org/abs/2410.01259v1
- Date: Wed, 2 Oct 2024 06:09:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 22:09:02.273009
- Title: Revisiting Optimism and Model Complexity in the Wake of Overparameterized Machine Learning
- Title（参考訳）: 過度にパラメータ化された機械学習のウェイクにおける最適化とモデル複雑度の再検討
- Authors: Pratik Patil, Jin-Hong Du, Ryan J. Tibshirani,
- Abstract要約: まず、(有効)自由度という古典的な統計的概念を再解釈し、拡張することで、第一原理からモデルの複雑さを再考する。
我々は,概念的議論,理論,実験の混合を通じて,提案した複雑性尺度の有用性を実証する。
- 参考スコア（独自算出の注目度）: 6.278498348219108
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Common practice in modern machine learning involves fitting a large number of parameters relative to the number of observations. These overparameterized models can exhibit surprising generalization behavior, e.g., ``double descent'' in the prediction error curve when plotted against the raw number of model parameters, or another simplistic notion of complexity. In this paper, we revisit model complexity from first principles, by first reinterpreting and then extending the classical statistical concept of (effective) degrees of freedom. Whereas the classical definition is connected to fixed-X prediction error (in which prediction error is defined by averaging over the same, nonrandom covariate points as those used during training), our extension of degrees of freedom is connected to random-X prediction error (in which prediction error is averaged over a new, random sample from the covariate distribution). The random-X setting more naturally embodies modern machine learning problems, where highly complex models, even those complex enough to interpolate the training data, can still lead to desirable generalization performance under appropriate conditions. We demonstrate the utility of our proposed complexity measures through a mix of conceptual arguments, theory, and experiments, and illustrate how they can be used to interpret and compare arbitrary prediction models.
- Abstract（参考訳）: 現代の機械学習における一般的な実践は、観測数に対して多数のパラメータを適合させることである。
これらの過度パラメータ化モデルは、モデルパラメータの生数に対してプロットされた場合の予測誤差曲線において、驚くべき一般化挙動を示すことがある。
本稿では、まず、古典統計学における自由度の概念を再解釈し、拡張することにより、第一原理からモデル複雑性を再考する。
古典的定義は固定X予測誤差(トレーニング中と同じ平均で非ランダムな共変点を平均化することによって予測誤差が定義される)に結び付けられているのに対し、我々の自由度の拡張はランダムX予測誤差(共変点分布からの新しいランダムサンプルに対して予測誤差が平均化される)に結びついている。
ランダムX設定は、トレーニングデータを補間するのに十分な複雑なモデルでさえ、適切な条件下での望ましい一般化性能をもたらす、現代の機械学習問題をより自然に具現化している。
本稿では,概念的議論,理論,実験の混合を通じて提案した複雑性尺度の有用性を実証し,任意の予測モデルを解釈・比較する方法について述べる。
関連論文リスト
- Aliasing and Label-Independent Decomposition of Risk: Beyond the bias-variance trade-off [0.0]
データサイエンスの中心的な問題は、潜在的にノイズの多いサンプルを使用して、目に見えない入力の関数値を予測することである。
一般化エイリアス分解(GAD)と呼ばれる代替パラダイムを導入する。
GADは、データラベルを見ることなく、モデルクラスとサンプルの関係から明示的に計算することができる。
論文 参考訳（メタデータ） (2024-08-15T17:49:24Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳（メタデータ） (2022-06-09T17:12:32Z) - Instance-Based Neural Dependency Parsing [56.63500180843504]
依存関係解析のための解釈可能な推論プロセスを持つニューラルモデルを開発する。
私たちのモデルはインスタンスベースの推論を採用しており、トレーニングセットのエッジと比較することで、依存関係のエッジを抽出し、ラベル付けします。
論文 参考訳（メタデータ） (2021-09-28T05:30:52Z) - The Predictive Normalized Maximum Likelihood for Over-parameterized
Linear Regression with Norm Constraint: Regret and Double Descent [12.929639356256928]
現代の機械学習モデルは、予測規則の複雑さとその一般化能力の間のトレードオフに従わないことを示す。
最近提案された予測正規化最大値 (pNML) は、個々のデータに対するmin-max後悔解である。
我々は,pNML後悔を合成データ上でのポイントワイド学習可能性尺度として使用し,二重発生現象の予測に成功していることを示す。
論文 参考訳（メタデータ） (2021-02-14T15:49:04Z) - Understanding Double Descent Requires a Fine-Grained Bias-Variance
Decomposition [34.235007566913396]
ラベルに関連付けられた用語への分散の解釈可能で対称的な分解について述べる。
バイアスはネットワーク幅とともに単調に減少するが、分散項は非単調な振る舞いを示す。
我々はまた、著しく豊かな現象論も分析する。
論文 参考訳（メタデータ） (2020-11-04T21:04:02Z) - Memorizing without overfitting: Bias, variance, and interpolation in
over-parameterized models [0.0]
バイアス分散トレードオフは教師あり学習における中心的な概念である。
現代のDeep Learningメソッドは、最先端のパフォーマンスを達成するために、このドグマを浮かび上がらせる。
論文 参考訳（メタデータ） (2020-10-26T22:31:04Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳（メタデータ） (2020-10-05T20:03:13Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - Predictive Complexity Priors [3.5547661483076998]
本稿では,モデルの予測と参照モデルの予測を比較して定義する機能的先行モデルを提案する。
もともとはモデル出力で定義されていたが、変数の変更によってモデルパラメータの前の値を転送する。
我々は,高次元回帰,ニューラルネットワーク深度の推論,数ショット学習における統計的強度の共有に先立って,予測複雑性を適用した。
論文 参考訳（メタデータ） (2020-06-18T18:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。