論文の概要: Expert load matters: operating networks at high accuracy and low manual effort

• arxiv url: http://arxiv.org/abs/2308.05035v1
• Date: Wed, 9 Aug 2023 16:08:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 13:03:38.782977
• Title: Expert load matters: operating networks at high accuracy and low manual effort
• Title（参考訳）: 専門家の負荷問題:高精度かつ手作業の少ないネットワーク
• Authors: Sara Sangalli, Ertunc Erdil, Ender Konukoglu
• Abstract要約: 深層ニューラルネットワークは、正確性と専門家の負荷の両方を考慮して訓練されるべきである、と私たちは主張する。 本稿では,このCOC曲線の下での面積を最大化する新たな相補的損失関数を提案する。 以上の結果から,提案した損失は分類精度を向上し,専門家への委譲数が少ないことが示唆された。
• 参考スコア（独自算出の注目度）: 8.413049356622198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In human-AI collaboration systems for critical applications, in order to ensure minimal error, users should set an operating point based on model confidence to determine when the decision should be delegated to human experts. Samples for which model confidence is lower than the operating point would be manually analysed by experts to avoid mistakes. Such systems can become truly useful only if they consider two aspects: models should be confident only for samples for which they are accurate, and the number of samples delegated to experts should be minimized. The latter aspect is especially crucial for applications where available expert time is limited and expensive, such as healthcare. The trade-off between the model accuracy and the number of samples delegated to experts can be represented by a curve that is similar to an ROC curve, which we refer to as confidence operating characteristic (COC) curve. In this paper, we argue that deep neural networks should be trained by taking into account both accuracy and expert load and, to that end, propose a new complementary loss function for classification that maximizes the area under this COC curve. This promotes simultaneously the increase in network accuracy and the reduction in number of samples delegated to humans. We perform experiments on multiple computer vision and medical image datasets for classification. Our results demonstrate that the proposed loss improves classification accuracy and delegates less number of decisions to experts, achieves better out-of-distribution samples detection and on par calibration performance compared to existing loss functions.
• Abstract（参考訳）: クリティカルなアプリケーションのための人間とAIのコラボレーションシステムでは、エラーを最小限に抑えるために、ユーザーは、決定がいつ人間の専門家に委譲されるべきかを判断するために、モデルの信頼性に基づいて運用ポイントを設定する必要がある。 モデル信頼性が運用ポイントよりも低いサンプルは、専門家が手動で分析し、ミスを避ける。 モデルが正確であるサンプルに対してのみ自信を持つべきであり、専門家に委譲されるサンプルの数は最小化されるべきである。 後者の側面は、医療など、利用可能な専門家時間が限られ、費用がかかるアプリケーションにとって特に重要です。 モデル精度と専門家に委譲されたサンプル数とのトレードオフは、信頼性演算特性(COC)曲線と呼ばれるROC曲線に類似した曲線で表すことができる。 本稿では,深部ニューラルネットワークは精度と専門的負荷の両方を考慮して訓練されるべきであり,そのために,このCOC曲線の下での面積を最大化する新たな補完的損失関数を提案する。 これは、ネットワークの精度の向上と、ヒトに委譲されたサンプル数の減少を同時に促進する。 分類のための複数のコンピュータビジョンと医用画像データセットで実験を行う。 その結果,提案した損失は分類精度を向上し,専門家に委譲し,分布外サンプルの検出や,既存の損失関数と比較してパーキャリブレーション性能が向上することを示した。

関連論文リスト

• Estimating Uncertainty with Implicit Quantile Network [0.0]
  不確かさの定量化は多くの性能クリティカルなアプリケーションにおいて重要な部分である。 本稿では,アンサンブル学習やベイズニューラルネットワークなど,既存のアプローチに対する簡単な代替手段を提供する。
  論文  参考訳（メタデータ） (2024-08-26T13:33:14Z)
• Refining Tuberculosis Detection in CXR Imaging: Addressing Bias in Deep Neural Networks via Interpretability [1.9936075659851882]
  実験データから完全な分類精度を得ることができたとしても,深層学習モデルの信頼性は限られていると論じる。 大規模プロキシタスクでディープニューラルネットワークを事前トレーニングし、MOON(Mixed objective Optimization Network)を使用することで、モデルとエキスパート間の決定基盤の整合性を改善することができることを示す。
  論文  参考訳（メタデータ） (2024-07-19T06:41:31Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Incorporating Experts' Judgment into Machine Learning Models [2.5363839239628843]
  場合によっては、ドメインの専門家は、機械学習モデルの予測と矛盾する可能性のある期待された結果について判断するかもしれません。 紛争を緩和するために専門家の判断を活用する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-04-24T07:32:49Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Trustworthy Long-Tailed Classification [41.45744960383575]
  本稿では,分類と不確実性評価を共同で行うために,Trustworthy Long-tailed Classification (TLC)法を提案する。 我々のTLCは、各専門家のエビデンスに基づく不確実性(EvU)とエビデンスを取得し、デプスター・シェーファー・エビデンス理論(DST)の下でこれらの不確実性とエビデンスを組み合わせる。 実験の結果,提案したTLCは最先端の手法よりも優れており,信頼性の高い不確実性に優れていた。
  論文  参考訳（メタデータ） (2021-11-17T10:52:36Z)
• $f$-Cal: Calibrated aleatoric uncertainty estimation from neural networks for robot perception [9.425514903472545]
  既存のアプローチでは、ネットワークアーキテクチャ、推論手順、損失関数を変更することで、ニューラルネットワークの知覚スタックから不確実性を推定する。 私たちの重要な洞察は、キャリブレーションはミニバッチのような複数の例に制約を課すことでのみ達成できるということです。 ニューラルネットワークの出力分布を、$f$-divergenceを最小にすることで、ターゲット分布に類似させることにより、従来のアプローチに比べてはるかに優れた校正モデルが得られる。
  論文  参考訳（メタデータ） (2021-09-28T17:57:58Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear Analysis [68.8204255655161]
  人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。 シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
  論文  参考訳（メタデータ） (2020-07-14T15:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。