論文の概要: Evaluating machine learning models in non-standard settings: An overview and new findings

• arxiv url: http://arxiv.org/abs/2310.15108v1
• Date: Mon, 23 Oct 2023 17:15:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 18:24:01.075330
• Title: Evaluating machine learning models in non-standard settings: An overview and new findings
• Title（参考訳）: 非標準設定における機械学習モデルの評価:概要と新しい知見
• Authors: Roman Hornung, Malte Nalenz, Lennart Schneider, Andreas Bender, Ludwig Bothmann, Bernd Bischl, Thomas Augustin, Anne-Laure Boulesteix
• Abstract要約: 機械学習モデルの一般化誤差(GE)を推定することが基本である。 非標準設定、特に観測が独立で同一に分散していない場合、再サンプリングはGEの推定に偏りをもたらす可能性がある。 本稿では,これらの非標準設定において,GE推定のための厳格なガイドラインを提案する。
• 参考スコア（独自算出の注目度）: 7.834267158484847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating the generalization error (GE) of machine learning models is fundamental, with resampling methods being the most common approach. However, in non-standard settings, particularly those where observations are not independently and identically distributed, resampling using simple random data divisions may lead to biased GE estimates. This paper strives to present well-grounded guidelines for GE estimation in various such non-standard settings: clustered data, spatial data, unequal sampling probabilities, concept drift, and hierarchically structured outcomes. Our overview combines well-established methodologies with other existing methods that, to our knowledge, have not been frequently considered in these particular settings. A unifying principle among these techniques is that the test data used in each iteration of the resampling procedure should reflect the new observations to which the model will be applied, while the training data should be representative of the entire data set used to obtain the final model. Beyond providing an overview, we address literature gaps by conducting simulation studies. These studies assess the necessity of using GE-estimation methods tailored to the respective setting. Our findings corroborate the concern that standard resampling methods often yield biased GE estimates in non-standard settings, underscoring the importance of tailored GE estimation.
• Abstract（参考訳）: 機械学習モデルの一般化誤差(generalization error, ge)を推定することは、最も一般的なアプローチである。 しかし、非標準設定、特に観測が独立で同一に分散していない場合、単純なランダムデータ分割を用いた再サンプリングは、偏りのあるGE推定につながる可能性がある。 本稿では,クラスタ化データ,空間データ,不等サンプリング確率,概念ドリフト,階層的に構造化された結果など,GE推定のための厳密なガイドラインを提案する。 私たちの概要は、確立された方法論と、我々の知識がこれらの特定の設定で頻繁に考慮されていない他の既存の方法を組み合わせたものです。 これらの技法の統一的な原則は、再サンプリング手順の各イテレーションで使用されるテストデータは、モデルが適用される新しい観察を反映し、トレーニングデータは最終モデルを得るために使用されるデータセット全体の代表であるべきであることである。 概説の他に、文献のギャップをシミュレーション研究によって解決する。 本研究は,ge推定法を各設定に適合させる必要性を評価する。 本研究は,標準再サンプリング手法が非標準設定において偏りのあるGE推定をしばしば生み出すという懸念を裏付けるものである。

関連論文リスト

• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• A Generic Machine Learning Framework for Fully-Unsupervised Anomaly Detection with Contaminated Data [0.0]
  本稿では,ADタスクに対する汚染されたトレーニングデータの完全教師なし改善のためのフレームワークを提案する。 このフレームワークは汎用的であり、任意の残差ベースの機械学習モデルに適用することができる。 本研究は, 改質を伴わない汚染データを用いた学習において, ナイーブなアプローチよりも明らかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-25T12:47:59Z)
• Unsupervised Anomaly Detection via Nonlinear Manifold Learning [0.0]
  異常は、残りのデータから著しく逸脱するサンプルであり、その検出は機械学習モデルを構築する上で大きな役割を果たす。 非線形多様体学習に基づく頑健で効率的かつ解釈可能な手法を導入し,教師なし設定における異常を検出する。
  論文  参考訳（メタデータ） (2023-06-15T18:48:10Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• MRCLens: an MRC Dataset Bias Detection Toolkit [82.44296974850639]
  MRCLensは,ユーザがフルモデルをトレーニングする前に,バイアスが存在するかどうかを検出するツールキットである。 ツールキットの導入の便宜のために,MDCにおける共通バイアスの分類も提供する。
  論文  参考訳（メタデータ） (2022-07-18T21:05:39Z)
• Studying Generalization Through Data Averaging [0.0]
  本研究では,異なるデータセットのサンプルに対する差の平均から得られる一般化ギャップと,列車および試験性能について検討する。 我々はSGDノイズの関数として一般化ギャップとモデルトレインとテスト性能の相違についていくつかの側面を予測した。
  論文  参考訳（メタデータ） (2022-06-28T00:03:40Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Performance metrics for intervention-triggering prediction models do not reflect an expected reduction in outcomes from using the model [71.9860741092209]
  臨床研究者はしばしばリスク予測モデルの中から選択し評価する。 振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。 予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
  論文  参考訳（メタデータ） (2020-06-02T16:26:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。