論文の概要: Evaluating Predictive Uncertainty and Robustness to Distributional Shift Using Real World Data

• arxiv url: http://arxiv.org/abs/2111.04665v1
• Date: Mon, 8 Nov 2021 17:32:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-09 16:00:34.685647
• Title: Evaluating Predictive Uncertainty and Robustness to Distributional Shift Using Real World Data
• Title（参考訳）: 実世界データを用いた分布変化予測の不確かさとロバスト性の評価
• Authors: Kumud Lakara, Akshat Bhandari, Pratinav Seth and Ujjwal Verma
• Abstract要約: シフト天気予報データセットを用いて、一般的な回帰作業のためのメトリクスを提案する。 また,これらの指標を用いたベースライン手法の評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most machine learning models operate under the assumption that the training, testing and deployment data is independent and identically distributed (i.i.d.). This assumption doesn't generally hold true in a natural setting. Usually, the deployment data is subject to various types of distributional shifts. The magnitude of a model's performance is proportional to this shift in the distribution of the dataset. Thus it becomes necessary to evaluate a model's uncertainty and robustness to distributional shifts to get a realistic estimate of its expected performance on real-world data. Present methods to evaluate uncertainty and model's robustness are lacking and often fail to paint the full picture. Moreover, most analysis so far has primarily focused on classification tasks. In this paper, we propose more insightful metrics for general regression tasks using the Shifts Weather Prediction Dataset. We also present an evaluation of the baseline methods using these metrics.
• Abstract（参考訳）: ほとんどの機械学習モデルは、トレーニング、テスト、デプロイメントデータが独立しており、同じ分散(d.d.)であると仮定して動作する。 この仮定は一般に自然の環境では当てはまらない。 通常、デプロイメントデータは様々なタイプの分散シフトの対象となる。 モデルの性能の大きさは、データセットの分布の変化に比例する。 したがって、実際のデータ上で期待される性能を現実的に推定するために、分布シフトに対するモデルの不確実性と堅牢性を評価する必要がある。 現在、不確実性とモデルの堅牢性を評価する方法は欠如しており、しばしば全体像を描き出せない。 さらに、これまでの分析は主に分類タスクに焦点が当てられている。 本稿では、Shifts Weather Prediction Datasetを用いて、一般的な回帰タスクに対するより洞察力の高いメトリクスを提案する。 また,これらのメトリクスを用いたベースライン手法の評価を行った。

関連論文リスト

• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Uncertainty in Contrastive Learning: On the Predictability of Downstream Performance [7.411571833582691]
  このような表現の不確実性は、単一のデータポイントに対して有意義な方法で定量化できるかどうかを考察する。 埋め込み空間におけるトレーニングデータの分布を直接推定することにより,この目標を達成することができることを示す。
  論文  参考訳（メタデータ） (2022-07-19T15:44:59Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• WILDS: A Benchmark of in-the-Wild Distribution Shifts [157.53410583509924]
  分散シフトは、ワイルドにデプロイされた機械学習システムの精度を実質的に低下させることができる。 分散シフトの多様な範囲を反映した8つのベンチマークデータセットのキュレーションコレクションであるWILDSを紹介します。 本研究は, 標準訓練の結果, 分布性能よりも, 分布域外性能が有意に低下することを示す。
  論文  参考訳（メタデータ） (2020-12-14T11:14:56Z)
• Evaluating Model Robustness and Stability to Dataset Shift [7.369475193451259]
  機械学習モデルの安定性を解析するためのフレームワークを提案する。 本手法では,アルゴリズムが性能の悪い分布を決定するために,元の評価データを用いる。 我々は,アルゴリズムの性能を"Worst-case"分布で推定する。
  論文  参考訳（メタデータ） (2020-10-28T17:35:39Z)
• Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
  本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。 本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。 私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
  論文  参考訳（メタデータ） (2020-08-10T17:09:16Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。