論文の概要: Unraveling overoptimism and publication bias in ML-driven science

• arxiv url: http://arxiv.org/abs/2405.14422v2
• Date: Mon, 10 Jun 2024 22:04:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 21:43:40.186106
• Title: Unraveling overoptimism and publication bias in ML-driven science
• Title（参考訳）: ML駆動科学における過剰最適化と出版バイアスの解消
• Authors: Pouria Saidi, Gautam Dasarathy, Visar Berisha,
• Abstract要約: 本稿では,パラメトリック学習曲線と前述のバイアスを統合することで,観測精度の新たなモデルを提案する。 次に、観測データにおけるこれらのバイアスを補正する推定器を構築する。 ML駆動科学におけるメタ分析にモデルを適用することで、過度な最適化を見いだすことができる。
• 参考スコア（独自算出の注目度）: 14.38643099447636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine Learning (ML) is increasingly used across many disciplines with impressive reported results across many domain areas. However, recent studies suggest that the published performance of ML models are often overoptimistic. Validity concerns are underscored by findings of an inverse relationship between sample size and reported accuracy in published ML models, contrasting with the theory of learning curves where accuracy should improve or remain stable with increasing sample size. This paper investigates factors contributing to overoptimistic accuracy reports in ML-driven science, focusing on data leakage and publication bias. We introduce a novel stochastic model for observed accuracy, integrating parametric learning curves and the aforementioned biases. We then construct an estimator that corrects for these biases in observed data. Theoretical and empirical results show that our framework can estimate the underlying learning curve, providing realistic performance assessments from published results. Applying the model to meta-analyses in ML-driven science, including neuroimaging-based and speech-based classifications of neurological conditions, we find prevalent overoptimism and estimate the inherent limits of ML-based prediction in each domain.
• Abstract（参考訳）: 機械学習(ML)は多くの分野にまたがって使われており、多くの領域で印象的な結果が報告されている。 しかし,近年の研究では,MLモデルの性能が過度に最適化されていることが示唆されている。 標本サイズと報告された精度の逆関係の発見は, 標本サイズの増加とともに精度が向上あるいは安定する学習曲線の理論と対比して, 妥当性の懸念を浮き彫りにしている。 本稿では,データ漏洩と公開バイアスに着目し,ML駆動科学における過大評価精度レポートに寄与する要因について検討する。 本稿では,パラメトリック学習曲線と前述のバイアスを統合した新しい確率モデルを提案する。 次に、観測データにおけるこれらのバイアスを補正する推定器を構築する。 理論的および実証的な結果は,本フレームワークが学習曲線を推定できることを示し,その結果から現実的な性能評価を提供する。 ML駆動科学におけるメタアナライズモデルの適用により、神経画像に基づく、および音声に基づく神経学的条件の分類が可能となり、各領域におけるMLに基づく予測の固有の限界を推定する。

関連論文リスト

• An Interpretable ML-based Model for Predicting p-y Curves of Monopile Foundations in Sand [5.0649910056131775]
  本研究では,モノパイル基礎のp-y曲線を予測するための解釈可能な機械学習モデルを開発した。 その結果,モデルが予測精度に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-01-08T03:00:34Z)
• Quantifying the Prediction Uncertainty of Machine Learning Models for Individual Data [2.1248439796866228]
  本研究では,線形回帰とニューラルネットワークに対するpNMLの学習可能性について検討する。 pNMLは様々なタスクにおけるこれらのモデルの性能と堅牢性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-12-10T13:58:19Z)
• A Gradient Analysis Framework for Rewarding Good and Penalizing Bad Examples in Language Models [63.949883238901414]
  本稿では,損失関数の勾配解析の特異な角度について述べる。 ExMATEはMLEの優れたサロゲートであり,DPOとMLEの代わりにExMATEを組み合わせることで,統計的(5-7%)と生成的(+18%)の性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T17:46:18Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Hyperparameter Tuning and Model Evaluation in Causal Effect Estimation [2.7823528791601686]
  本稿では,因果効果推定のためのモデル評価の4つの異なる側面間の相互作用について検討する。 ほとんどの因果推定器は、十分に調整された場合、ほぼ同等の性能であることがわかった。 我々は,現在,最先端の手順で提供されていない最適性能を解き放つために,因果モデル評価に関するさらなる研究を求めている。
  論文  参考訳（メタデータ） (2023-03-02T17:03:02Z)
• Expected Validation Performance and Estimation of a Random Variable's Maximum [48.83713377993604]
  予測された検証性能に対する3つの統計的推定器を解析する。 偏りのない推定器は最も分散度が高く、最小分散度を持つ推定器は最大のバイアスを持つ。 2つの偏りのある推定器は、最も少ない誤った結論につながる。
  論文  参考訳（メタデータ） (2021-10-01T18:48:47Z)
• A Farewell to the Bias-Variance Tradeoff? An Overview of the Theory of Overparameterized Machine Learning [37.01683478234978]
  機械学習(ML)の急速な進歩は、この分野の長年のドグマに挑戦する科学的な疑問を数多く提起している。 最も重要なライドルの1つは、パラメータ化されたモデルの優れた経験的一般化である。
  論文  参考訳（メタデータ） (2021-09-06T10:48:40Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)
• Efficient Debiased Evidence Estimation by Multilevel Monte Carlo Sampling [0.0]
  ベイズ推論に基づくマルチレベルモンテカルロ法(MLMC)の最適化手法を提案する。 計算結果から,従来の推定値と比較すると,かなりの計算量の削減が確認できた。
  論文  参考訳（メタデータ） (2020-01-14T09:14:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。