論文の概要: Confidence and Dispersity Speak: Characterising Prediction Matrix for Unsupervised Accuracy Estimation

• arxiv url: http://arxiv.org/abs/2302.01094v1
• Date: Thu, 2 Feb 2023 13:30:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-03 13:53:01.967060
• Title: Confidence and Dispersity Speak: Characterising Prediction Matrix for Unsupervised Accuracy Estimation
• Title（参考訳）: 信頼度と分散性: 教師なし精度推定のための予測行列の特徴付け
• Authors: Weijian Deng, Yumin Suh, Stephen Gould, Liang Zheng
• Abstract要約: この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。 我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。 核の基準は既存の手法よりも正確で堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 51.809741427975105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work aims to assess how well a model performs under distribution shifts without using labels. While recent methods study prediction confidence, this work reports prediction dispersity is another informative cue. Confidence reflects whether the individual prediction is certain; dispersity indicates how the overall predictions are distributed across all categories. Our key insight is that a well-performing model should give predictions with high confidence and high dispersity. That is, we need to consider both properties so as to make more accurate estimates. To this end, we use the nuclear norm that has been shown to be effective in characterizing both properties. Extensive experiments validate the effectiveness of nuclear norm for various models (e.g., ViT and ConvNeXt), different datasets (e.g., ImageNet and CUB-200), and diverse types of distribution shifts (e.g., style shift and reproduction shift). We show that the nuclear norm is more accurate and robust in accuracy estimation than existing methods. Furthermore, we validate the feasibility of other measurements (e.g., mutual information maximization) for characterizing dispersity and confidence. Lastly, we investigate the limitation of the nuclear norm, study its improved variant under severe class imbalance, and discuss potential directions.
• Abstract（参考訳）: 本研究の目的は,ラベルを使わずに,分散シフト下でのモデルの性能を評価することである。 最近の手法では予測の信頼性が研究されているが、この研究は予測の分散性が有益であると報告している。 分散性は、全体的な予測がすべてのカテゴリにどのように分散しているかを示す。 私たちの重要な洞察は、優れたモデルが高い信頼性と高い分散性で予測するべきだということです。 すなわち、より正確な見積もりを行うために両方の特性を考慮する必要がある。 この目的のために、両方の特性を特徴づけるのに有効であることが示されている核規範を用いる。 大規模な実験は、様々なモデル(ViTやConvNeXtなど)、異なるデータセット(ImageNetやCUB-200など)、様々な種類の分散シフト(スタイルシフトや再生シフトなど)に対する核規範の有効性を検証する。 核ノルムは, 従来の手法よりも精度が高く, 頑健であることを示す。 さらに,分散性と信頼性を特徴付ける他の測定(相互情報最大化など)の可能性を検証する。 最後に、核規範の限界を調査し、重度クラス不均衡下で改良された変種を調べ、潜在的な方向性について議論する。

関連論文リスト

• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Zero-Shot Uncertainty Quantification using Diffusion Probabilistic Models [7.136205674624813]
  拡散モデルを用いて異なる回帰問題の解法におけるアンサンブル法の有効性を評価する。 本研究では,様々な回帰タスクにおいて,アンサンブル手法がモデル予測精度を一貫して向上することを実証する。 本研究は,拡散アンサンブルの有用性を包括的に把握し,回帰問題解決における拡散モデルを用いた実践者にとって有用な参考となる。
  論文  参考訳（メタデータ） (2024-08-08T18:34:52Z)
• Interpreting Predictive Probabilities: Model Confidence or Human Label Variation? [27.226997687210044]
  私たちは、非常に異なる評価プロトコルを駆動する2つの主要な視点を特定します。 我々は,それらのメリットと限界について論じ,両者が信頼に値する,公平なNLPシステムにとって重要であるという立場を取る。 我々はツールを推奨し、人間のラベルに関する不確実性や不確実性について不整合表現を持つモデルへのエキサイティングな方向を示す。
  論文  参考訳（メタデータ） (2024-02-25T15:00:13Z)
• Uncertainty Estimates of Predictions via a General Bias-Variance Decomposition [7.811916700683125]
  本稿では,適切なスコアに対するバイアス分散分解を導入し,分散項としてブレグマン情報を導出する。 モデルアンサンブルや信頼領域を含む下流タスクにおけるこの分解の実践的妥当性を示す。
  論文  参考訳（メタデータ） (2022-10-21T21:24:37Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
  本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。 我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。 そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:19:09Z)
• Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
  本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。 本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。 私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
  論文  参考訳（メタデータ） (2020-08-10T17:09:16Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Estimation of Accurate and Calibrated Uncertainties in Deterministic models [0.8702432681310401]
  我々は,決定論的予測を確率論的予測に変換する手法を考案した。 そのためには,そのようなモデルの精度と信頼性(校正)を損なう必要がある。 隠れたノイズを正確に回収できる合成データと、大規模な実世界のデータセットの両方について、いくつかの例を示す。
  論文  参考訳（メタデータ） (2020-03-11T04:02:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。