論文の概要: Trust, but Verify: Using Self-Supervised Probing to Improve Trustworthiness

• arxiv url: http://arxiv.org/abs/2302.02628v1
• Date: Mon, 6 Feb 2023 08:57:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 17:13:43.930485
• Title: Trust, but Verify: Using Self-Supervised Probing to Improve Trustworthiness
• Title（参考訳）: 信頼と検証 - 自己監督型調査による信頼性向上
• Authors: Ailin Deng, Shen Li, Miao Xiong, Zhirui Chen, and Bryan Hooi
• Abstract要約: 我々は、訓練されたモデルに対する自信の過剰な問題をチェックおよび緩和することのできる、自己教師型探索の新しいアプローチを導入する。 既存の信頼性関連手法に対して,プラグイン・アンド・プレイ方式で柔軟に適用可能な,シンプルで効果的なフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 29.320691367586004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Trustworthy machine learning is of primary importance to the practical deployment of deep learning models. While state-of-the-art models achieve astonishingly good performance in terms of accuracy, recent literature reveals that their predictive confidence scores unfortunately cannot be trusted: e.g., they are often overconfident when wrong predictions are made, or so even for obvious outliers. In this paper, we introduce a new approach of self-supervised probing, which enables us to check and mitigate the overconfidence issue for a trained model, thereby improving its trustworthiness. We provide a simple yet effective framework, which can be flexibly applied to existing trustworthiness-related methods in a plug-and-play manner. Extensive experiments on three trustworthiness-related tasks (misclassification detection, calibration and out-of-distribution detection) across various benchmarks verify the effectiveness of our proposed probing framework.
• Abstract（参考訳）: 信頼できる機械学習は、ディープラーニングモデルの実践的展開において最も重要なものである。 最先端のモデルは正確さという点で驚くほど優れた性能を発揮するが、最近の文献では彼らの予測的自信のスコアは残念ながら信頼できないことが判明している。 本稿では,学習モデルに対する過信問題をチェック・緩和し,信頼性を向上させるための,自己監視型プローブの新たなアプローチを提案する。 我々は,既存の信頼度関連手法をプラグイン・アンド・プレイ方式で柔軟に適用可能な,単純かつ効果的なフレームワークを提供する。 3つの信頼度関連タスク(ミスクラス化検出、キャリブレーション、分散検出)に関する広範囲な実験を行い、提案手法の有効性を検証した。

関連論文リスト

• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Calibrating Multimodal Learning [94.65232214643436]
  本稿では,従来の手法の予測信頼性を校正するために,新たな正規化手法であるCML(Callibrating Multimodal Learning)正則化を提案する。 この技術は、既存のモデルによって柔軟に装備され、信頼性校正、分類精度、モデルロバスト性の観点から性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-06-02T04:29:57Z)
• Confidence-Calibrated Face and Kinship Verification [8.570969129199467]
  検証モデルにより、類似度スコアを任意の顔対に対する信頼スコアに変換することができる効果的な信頼度尺度を導入する。 また,実装が容易で,既存の検証モデルにも容易に適用可能な,信頼性校正アプローチであるAngular Scaling(ASC)を提案する。 我々の知識を最大限に活用するために、我々の研究は、現代の顔と親族関係の検証タスクに対する、初めての包括的信頼度校正ソリューションを提示した。
  論文  参考訳（メタデータ） (2022-10-25T10:43:46Z)
• Improving the Reliability for Confidence Estimation [16.952133489480776]
  信頼度推定は、デプロイ中のモデルの予測出力の信頼性を評価することを目的としたタスクである。 これまでの研究は、信頼度推定モデルが持つべき2つの重要な特性を概説してきた。 信頼度推定モデルにおいて、両方の品質を同時に改善できるメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-13T06:34:23Z)
• MACEst: The reliable and trustworthy Model Agnostic Confidence Estimator [0.17188280334580192]
  我々は、標準的な機械学習ポイント予測アルゴリズムに基づく信頼度推定は、基本的に欠陥があると主張している。 MACEstは信頼性と信頼性の高い信頼度推定を提供するモデル非依存信頼度推定器である。
  論文  参考訳（メタデータ） (2021-09-02T14:34:06Z)
• Uncertainty-sensitive Activity Recognition: a Reliability Benchmark and the CARING Models [37.60817779613977]
  本稿では,現代の行動認識アーキテクチャの信頼度が,正しい結果の確率を反映していることを示す最初の研究を行う。 新たなキャリブレーションネットワークを通じて、モデル出力を現実的な信頼性推定に変換する新しいアプローチを紹介します。
  論文  参考訳（メタデータ） (2021-01-02T15:41:21Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Binary Classification from Positive Data with Skewed Confidence [85.18941440826309]
  肯定的信頼度(Pconf)分類は、有望な弱教師付き学習法である。 実際には、信頼はアノテーションプロセスで生じるバイアスによって歪められることがある。 本稿では、スキュード信頼度のパラメータ化モデルを導入し、ハイパーパラメータを選択する方法を提案する。
  論文  参考訳（メタデータ） (2020-01-29T00:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。