Fugu-MT 論文翻訳(概要): Understanding the double descent curve in Machine Learning

論文の概要: Understanding the double descent curve in Machine Learning

arxiv url: http://arxiv.org/abs/2211.10322v1
Date: Fri, 18 Nov 2022 16:27:05 GMT
ステータス: 処理完了
システム内更新日: 2022-11-21 15:37:48.309060
Title: Understanding the double descent curve in Machine Learning
Title（参考訳）: 機械学習における二重降下曲線の理解
Authors: Luis Sa-Couto, Jose Miguel Ramos, Miguel Almeida, Andreas Wichert
Abstract要約: 我々は,この現象を原則的に理解し,重要な質問に対する回答をスケッチする。提案した仮説によって正確に予測された実実験結果について報告する。
参考スコア（独自算出の注目度）: 1.8065361710947976
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The theory of bias-variance used to serve as a guide for model selection when applying Machine Learning algorithms. However, modern practice has shown success with over-parameterized models that were expected to overfit but did not. This led to the proposal of the double descent curve of performance by Belkin et al. Although it seems to describe a real, representative phenomenon, the field is lacking a fundamental theoretical understanding of what is happening, what are the consequences for model selection and when is double descent expected to occur. In this paper we develop a principled understanding of the phenomenon, and sketch answers to these important questions. Furthermore, we report real experimental results that are correctly predicted by our proposed hypothesis.
Abstract（参考訳）: バイアス分散の理論は、機械学習アルゴリズムを適用する際のモデル選択のガイドとして使われた。しかし、現代のモデルでは、過剰に適合するはずであったが実現しなかった過剰パラメータモデルが成功している。この結果、ベルキンらによる二重降下曲線(double descent curve of performance)の提案が導かれた。真の代表的現象を記述しているように見えるが、この分野は、何が起こっているのか、モデル選択の結果と、いつ起こることが予想される2重降下の結果について、根本的な理論的理解を欠いている。本稿では,この現象を原則的に理解し,これらの重要な疑問に対する回答をスケッチする。さらに,提案する仮説によって正しく予測される実実験結果について報告する。

関連論文リスト

Class-wise Activation Unravelling the Engima of Deep Double Descent [0.0]
二重降下は、機械学習領域内の反直観的な側面を示す。本研究では,二重降下現象を再考し,その発生状況について考察した。
論文参考訳（メタデータ） (2024-05-13T12:07:48Z)
On the nonconvexity of some push-forward constraints and its consequences in machine learning [0.0]
プッシュフォワード操作により、地図を介して凸確率測度を再分配することができる。統計学において重要な役割を果たす: 最適な輸送の影響からプッシュフォワードへの多くの問題。本研究の目的は,予測やアルゴリズム学習の問題を研究者がよりよく理解することである。
論文参考訳（メタデータ） (2024-03-12T10:06:48Z)
A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。これは二重降下と統計的直観の間の緊張を解消する。
論文参考訳（メタデータ） (2023-10-29T12:05:39Z)
Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文参考訳（メタデータ） (2023-06-09T08:30:51Z)
Theoretical and Practical Perspectives on what Influence Functions Do [45.35457212616306]
インフルエンス関数(IF)は、トレーニングデータのレンズを通してモデル予測を説明する技術として見なされている。近年の実証研究により,既存のIF推定手法は脱落・脱落・抑制効果の低下を予測できることが示された。ほとんどの仮定はうまく処理できるが、パラメータの発散はIFの予測力に明確な制限を与える。
論文参考訳（メタデータ） (2023-05-26T14:26:36Z)
A Mathematical Framework for Learning Probability Distributions [0.0]
生成的モデリングと密度推定は近年非常にポピュラーな話題になっています本論文は、すべての有名なモデルを単純な原理に基づいて導出できる数学的枠組みを提供する。特に,これらのモデルが訓練中に暗黙的な正規化を楽しむことを証明し,早期停止時の一般化誤差が次元性の呪いを避ける。
論文参考訳（メタデータ） (2022-12-22T04:41:45Z)
Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
論文参考訳（メタデータ） (2022-04-05T12:52:45Z)
On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
論文参考訳（メタデータ） (2021-07-27T09:13:11Z)
Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文参考訳（メタデータ） (2021-03-18T12:57:34Z)
Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
論文参考訳（メタデータ） (2020-12-31T07:24:30Z)
Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
論文参考訳（メタデータ） (2020-10-15T16:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。