論文の概要: A Closer Look at Scoring Functions and Generalization Prediction

• arxiv url: http://arxiv.org/abs/2303.13589v1
• Date: Thu, 23 Mar 2023 18:08:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 16:59:19.200349
• Title: A Closer Look at Scoring Functions and Generalization Prediction
• Title（参考訳）: スコアリング関数と一般化予測について
• Authors: Puja Trivedi, Danai Koutra, Jayaraman J. Thiagarajan
• Abstract要約: 一般化誤差予測器(GEP)は,サンプルレベルのスコアからデータセットレベルの誤差推定を導出することにより,未知分布のモデル性能を予測することを目的としている。 機構選択に依存しない一般的なスコアリング関数(自信,局所多様体の滑らかさ,モデル適合性)の有効性を厳密に研究する。
• 参考スコア（独自算出の注目度）: 33.24980750651318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalization error predictors (GEPs) aim to predict model performance on unseen distributions by deriving dataset-level error estimates from sample-level scores. However, GEPs often utilize disparate mechanisms (e.g., regressors, thresholding functions, calibration datasets, etc), to derive such error estimates, which can obfuscate the benefits of a particular scoring function. Therefore, in this work, we rigorously study the effectiveness of popular scoring functions (confidence, local manifold smoothness, model agreement), independent of mechanism choice. We find, absent complex mechanisms, that state-of-the-art confidence- and smoothness- based scores fail to outperform simple model-agreement scores when estimating error under distribution shifts and corruptions. Furthermore, on realistic settings where the training data has been compromised (e.g., label noise, measurement noise, undersampling), we find that model-agreement scores continue to perform well and that ensemble diversity is important for improving its performance. Finally, to better understand the limitations of scoring functions, we demonstrate that simplicity bias, or the propensity of deep neural networks to rely upon simple but brittle features, can adversely affect GEP performance. Overall, our work carefully studies the effectiveness of popular scoring functions in realistic settings and helps to better understand their limitations.
• Abstract（参考訳）: 一般化誤差予測器(GEP)は,サンプルレベルのスコアからデータセットレベルの誤差推定を導出することにより,未知分布のモデル性能を予測することを目的とする。 しかしながら、GEPは異なるメカニズム(例えば、回帰器、しきい値関数、キャリブレーションデータセットなど)を使用して、そのような誤差推定を導出し、特定のスコアリング関数の利点を難読化することができる。 そこで本研究では,人気のあるスコアリング機能(信頼度,局所多様体滑らか性,モデル合意)のメカニズム選択によらず,厳密に検討する。 複雑なメカニズムが欠如している場合、分散シフトや腐敗の下で誤差を推定する場合、最先端の信頼度と滑らかさに基づくスコアは単純なモデル・アグリーメントスコアを上回らないことが分かる。 さらに,トレーニングデータの漏洩(ラベルノイズ,測定ノイズ,アンダーサンプリングなど)が現実的環境では,モデル・アグリーメントスコアが引き続き良好に機能し,アンサンブルの多様性が性能向上に重要であることが分かった。 最後に,スコアリング関数の限界をよりよく理解するために,単純さのバイアスや,単純だが不安定な特徴に依存するディープニューラルネットワークがgep性能に悪影響を及ぼすことを実証する。 全体として,一般的なスコアリング機能の有効性を現実的な設定で慎重に検討し,その限界をより理解する上で役立ちます。

関連論文リスト

• Controlling Learned Effects to Reduce Spurious Correlations in Text Classifiers [6.662800021628275]
  本稿では,特徴の学習効果をモデルで予測し,特徴がラベルに与える影響を推定するアルゴリズムを提案する。 毒性とIMDBレビューデータセットについて、提案アルゴリズムは、突発的な相関を最小化し、マイノリティグループを改善する。
  論文  参考訳（メタデータ） (2023-05-26T12:15:54Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Increasing Fairness in Predictions Using Bias Parity Score Based Loss Function Regularization [0.8594140167290099]
  従来のバイナリクロスエントロピーに基づく精度損失と合わせて使用する正則化成分の公平性向上のファミリを導入する。 我々は、人口統計に基づく成人所得データセットと同様に、再分配予測タスクの文脈に展開する。
  論文  参考訳（メタデータ） (2021-11-05T17:42:33Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Estimating Structural Target Functions using Machine Learning and Influence Functions [103.47897241856603]
  統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。 このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。 我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
  論文  参考訳（メタデータ） (2020-08-14T16:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。