Fugu-MT 論文翻訳(概要): Learning to Predict Trustworthiness with Steep Slope Loss

論文の概要: Learning to Predict Trustworthiness with Steep Slope Loss

arxiv url: http://arxiv.org/abs/2110.00054v1
Date: Thu, 30 Sep 2021 19:19:09 GMT
ステータス: 処理完了
システム内更新日: 2021-10-04 14:36:29.670485
Title: Learning to Predict Trustworthiness with Steep Slope Loss
Title（参考訳）: ステップスロープロスによる信頼度予測の学習
Authors: Yan Luo, Yongkang Wong, Mohan S. Kankanhalli, and Qi Zhao
Abstract要約: 本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
参考スコア（独自算出の注目度）: 69.40817968905495
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Understanding the trustworthiness of a prediction yielded by a classifier is critical for the safe and effective use of AI models. Prior efforts have been proven to be reliable on small-scale datasets. In this work, we study the problem of predicting trustworthiness on real-world large-scale datasets, where the task is more challenging due to high-dimensional features, diverse visual concepts, and large-scale samples. In such a setting, we observe that the trustworthiness predictors trained with prior-art loss functions, i.e., the cross entropy loss, focal loss, and true class probability confidence loss, are prone to view both correct predictions and incorrect predictions to be trustworthy. The reasons are two-fold. Firstly, correct predictions are generally dominant over incorrect predictions. Secondly, due to the data complexity, it is challenging to differentiate the incorrect predictions from the correct ones on real-world large-scale datasets. To improve the generalizability of trustworthiness predictors, we propose a novel steep slope loss to separate the features w.r.t. correct predictions from the ones w.r.t. incorrect predictions by two slide-like curves that oppose each other. The proposed loss is evaluated with two representative deep learning models, i.e., Vision Transformer and ResNet, as trustworthiness predictors. We conduct comprehensive experiments and analyses on ImageNet, which show that the proposed loss effectively improves the generalizability of trustworthiness predictors. The code and pre-trained trustworthiness predictors for reproducibility are available at https://github.com/luoyan407/predict_trustworthiness.
Abstract（参考訳）: 分類器によって得られる予測の信頼性を理解することは、AIモデルの安全かつ効果的な利用に不可欠である。以前の取り組みは、小規模データセットで信頼できることが証明されている。本研究では,高次元特徴,多様な視覚概念,大規模サンプルにより課題が困難な実世界の大規模データセットにおける信頼性の予測問題について検討する。このような状況下において,先行技術損失関数で訓練された信頼度予測器,すなわちクロスエントロピー損失,焦点損失,真のクラス確率信頼度損失は,正しい予測と誤った予測の両方を信頼度と捉える傾向にある。理由は2つある。第一に、正しい予測は一般に誤った予測よりも支配的である。第二に、データの複雑さのため、現実の大規模データセット上の正しい予測と間違った予測を区別することは困難である。信頼度予測器の一般化性を向上させるために, 互いに反対する2つのスライド状の曲線による不正確な予測と特徴w.r.t.正しい予測とを分離する, 新たな急傾斜損失を提案する。提案した損失は、Vision TransformerとResNetの2つの代表的なディープラーニングモデルを用いて信頼性予測として評価される。本研究では,imagenetに関する総合的な実験と解析を行い,提案する損失が信頼性予測の一般化を効果的に改善することを示す。再現性に関するコードと事前訓練された信頼性予測は、https://github.com/luoyan407/predict_trustworthinessで見ることができる。

関連論文リスト

Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文参考訳（メタデータ） (2024-10-13T15:37:11Z)
Error-Driven Uncertainty Aware Training [7.702016079410588]
Error-Driven Uncertainty Aware Trainingは、ニューラル分類器が不確実性を正確に推定する能力を高めることを目的としている。 EUATアプローチは、モデルのトレーニングフェーズ中に、トレーニング例が正しく予測されているか、あるいは正しく予測されているかによって、2つの損失関数を選択的に使用することによって機能する。画像認識領域における多様なニューラルモデルとデータセットを用いてEUATを評価する。
論文参考訳（メタデータ） (2024-05-02T11:48:14Z)
Cross-Prediction-Powered Inference [15.745692520785074]
クロスプレディクション(Cross-prediction)は、機械学習を利用した推論の検証方法である。予測による推論の適応よりもクロス予測の方が一貫して強力であることを示す。
論文参考訳（メタデータ） (2023-09-28T17:01:58Z)
Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
論文参考訳（メタデータ） (2023-04-20T07:29:23Z)
Confidence and Dispersity Speak: Characterising Prediction Matrix for Unsupervised Accuracy Estimation [51.809741427975105]
この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。核の基準は既存の手法よりも正確で堅牢であることを示す。
論文参考訳（メタデータ） (2023-02-02T13:30:48Z)
Training Uncertainty-Aware Classifiers with Conformalized Deep Learning [7.837881800517111]
ディープニューラルネットワークは、データ内の隠れパターンを検出し、それらを活用して予測する強力なツールであるが、不確実性を理解するように設計されていない。我々は予測力を犠牲にすることなく、より信頼性の高い不確実性推定を導出できる新しいトレーニングアルゴリズムを開発した。
論文参考訳（メタデータ） (2022-05-12T05:08:10Z)
Learning Uncertainty with Artificial Neural Networks for Improved Remaining Time Prediction of Business Processes [0.15229257192293202]
本論文では,これらの手法を予測過程のモニタリングに応用する。より正確な予測と迅速な作業に貢献できることが分かりました。これは多くの興味深い応用をもたらし、より小さなデータセットを持つ予測システムを早期に導入し、人間とのより良い協力を促進する。
論文参考訳（メタデータ） (2021-05-12T10:18:57Z)
Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文参考訳（メタデータ） (2021-02-22T07:02:37Z)
Learning Accurate Dense Correspondences and When to Trust Them [161.76275845530964]
2つの画像に関連する密度の高い流れ場と、堅牢な画素方向の信頼度マップの推定を目指しています。フロー予測とその不確実性を共同で学習するフレキシブルな確率的アプローチを開発する。本手法は,幾何学的マッチングと光フローデータセットに挑戦する最新の結果を得る。
論文参考訳（メタデータ） (2021-01-05T18:54:11Z)
Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文参考訳（メタデータ） (2020-08-10T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。