論文の概要: Classical Statistical (In-Sample) Intuitions Don't Generalize Well: A Note on Bias-Variance Tradeoffs, Overfitting and Moving from Fixed to Random Designs

• arxiv url: http://arxiv.org/abs/2409.18842v1
• Date: Fri, 27 Sep 2024 15:36:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-01 08:58:26.809867
• Title: Classical Statistical (In-Sample) Intuitions Don't Generalize Well: A Note on Bias-Variance Tradeoffs, Overfitting and Moving from Fixed to Random Designs
• Title（参考訳）: 古典的統計的(サンプル内)直観はうまく一般化しない: バイアス分散トレードオフ、オーバーフィッティング、固定設計からランダム設計へ
• Authors: Alicia Curth,
• Abstract要約: 古典統計学の教科書で教えられている直観と相反する行動が現在観察されている別の理由が示されている。 固定されたデザインからランダムなデザインへのこの単純な動きは、教科書の直観に遠く及ばない結果をもたらすことを強調する。
• 参考スコア（独自算出の注目度）: 11.893324664457548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The sudden appearance of modern machine learning (ML) phenomena like double descent and benign overfitting may leave many classically trained statisticians feeling uneasy -- these phenomena appear to go against the very core of statistical intuitions conveyed in any introductory class on learning from data. The historical lack of earlier observation of such phenomena is usually attributed to today's reliance on more complex ML methods, overparameterization, interpolation and/or higher data dimensionality. In this note, we show that there is another reason why we observe behaviors today that appear at odds with intuitions taught in classical statistics textbooks, which is much simpler to understand yet rarely discussed explicitly. In particular, many intuitions originate in fixed design settings, in which in-sample prediction error (under resampling of noisy outcomes) is of interest, while modern ML evaluates its predictions in terms of generalization error, i.e. out-of-sample prediction error in random designs. Here, we highlight that this simple move from fixed to random designs has (perhaps surprisingly) far-reaching consequences on textbook intuitions relating to the bias-variance tradeoff, and comment on the resulting (im)possibility of observing double descent and benign overfitting in fixed versus random designs.
• Abstract（参考訳）: 二重降下や良心過剰といった機械学習(ML)現象の突然の出現は、多くの古典的な訓練を受けた統計学者を不安にさせる可能性がある。 このような現象の初期の観測の歴史的欠如は、今日のより複雑なML手法、過度なパラメータ化、補間、あるいはより高次のデータ次元への依存によるものである。 本稿では,古典統計学の教科書で教えられている直観に反する振る舞いを観察するもう一つの理由を示す。 特に、多くの直観は固定された設計設定に起因しており、そこでは(ノイズのある結果の再サンプリングによる)サンプル内予測誤差が興味をそそる一方で、現代のMLは一般化誤差、すなわちランダムな設計におけるサンプル外予測誤差を評価している。 ここでは、固定された設計からランダムな設計への単純な動きが、バイアス分散トレードオフに関する教科書の直観に(おそらく驚くほど)遠い結果をもたらすことを強調し、固定およびランダムな設計において二重降下と良性オーバーフィットを観察する可能性についてコメントする。

関連論文リスト

• Mechanism learning: Reverse causal inference in the presence of multiple unknown confounding through front-door causal bootstrapping [0.8901073744693314]
  機械学習(ML)予測モデルの最大の制限は、変数間の因果関係ではなく、関連性を取り戻すことである。 本稿では,前向きの因果ブートストラップを用いて観測データを分解する機構学習を提案する。 提案手法は,完全合成,半合成,実世界のデータセットを用いて,信頼性,不偏性,因果的ML予測器を検出できることを実証する。
  論文  参考訳（メタデータ） (2024-10-26T03:34:55Z)
• Revisiting Optimism and Model Complexity in the Wake of Overparameterized Machine Learning [6.278498348219108]
  まず、(有効)自由度という古典的な統計的概念を再解釈し、拡張することで、第一原理からモデルの複雑さを再考する。 我々は,概念的議論,理論,実験の混合を通じて,提案した複雑性尺度の有用性を実証する。
  論文  参考訳（メタデータ） (2024-10-02T06:09:57Z)
• Random features models: a way to study the success of naive imputation [0.0]
  これは、欠落したデータを扱うための最初の使い易いテクニックである。 最近の研究は、このバイアスが高次元線形予測器の文脈で低いことを示唆している。 本稿は, 偏見が無視可能であり, 意外なナイーブな計算も極めて低次元で関連している,という直感を裏付けるものである。
  論文  参考訳（メタデータ） (2024-02-06T09:37:06Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
  深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。 我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
  論文  参考訳（メタデータ） (2023-10-13T17:06:34Z)
• Can predictive models be used for causal inference? [0.0]
  Supervised Machine Learning (ML)とDeep Learning (DL)アルゴリズムは予測タスクで優れている。 一般に、それらは非因果関係を利用して行うと仮定される。 この説明と予測のトレードオフは、期待したほど深く、根本的ではないことを示す。
  論文  参考訳（メタデータ） (2023-06-18T13:11:36Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)
• The Role of Mutual Information in Variational Classifiers [47.10478919049443]
  クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。 我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:27:57Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。