論文の概要: Evaluating Reliability in Medical DNNs: A Critical Analysis of Feature and Confidence-Based OOD Detection

• arxiv url: http://arxiv.org/abs/2408.17337v1
• Date: Fri, 30 Aug 2024 15:02:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 14:56:24.012904
• Title: Evaluating Reliability in Medical DNNs: A Critical Analysis of Feature and Confidence-Based OOD Detection
• Title（参考訳）: 医療用DNNにおける信頼性の評価 : 特徴と信頼性に基づくOOD検出の批判的分析
• Authors: Harry Anthony, Konstantinos Kamnitsas,
• Abstract要約: OOD検出方法は、信頼層(OOD検出のためにモデルの出力層を使用する)または機能層(出力層を使用しない)に分類することができる。 OODアーティファクトは、トレーニングデータと他の要因との相関関係から、モデルの予測におけるソフトマックスの信頼性を高めることができることを示す。 また、特徴に基づく手法は、通常、正しい予測と誤った予測につながる入力を区別する上で、より悪い性能を示すことを示す。
• 参考スコア（独自算出の注目度）: 2.9049649065453336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable use of deep neural networks (DNNs) for medical image analysis requires methods to identify inputs that differ significantly from the training data, called out-of-distribution (OOD), to prevent erroneous predictions. OOD detection methods can be categorised as either confidence-based (using the model's output layer for OOD detection) or feature-based (not using the output layer). We created two new OOD benchmarks by dividing the D7P (dermatology) and BreastMNIST (ultrasound) datasets into subsets which either contain or don't contain an artefact (rulers or annotations respectively). Models were trained with artefact-free images, and images with the artefacts were used as OOD test sets. For each OOD image, we created a counterfactual by manually removing the artefact via image processing, to assess the artefact's impact on the model's predictions. We show that OOD artefacts can boost a model's softmax confidence in its predictions, due to correlations in training data among other factors. This contradicts the common assumption that OOD artefacts should lead to more uncertain outputs, an assumption on which most confidence-based methods rely. We use this to explain why feature-based methods (e.g. Mahalanobis score) typically have greater OOD detection performance than confidence-based methods (e.g. MCP). However, we also show that feature-based methods typically perform worse at distinguishing between inputs that lead to correct and incorrect predictions (for both OOD and ID data). Following from these insights, we argue that a combination of feature-based and confidence-based methods should be used within DNN pipelines to mitigate their respective weaknesses. These project's code and OOD benchmarks are available at: https://github.com/HarryAnthony/Evaluating_OOD_detection.
• Abstract（参考訳）: 医用画像解析におけるディープニューラルネットワーク(DNN)の信頼性の高い使用には、誤った予測を防ぐために、トレーニングデータと大きく異なる入力を識別する手法、OOD(Out-of-distribution)が必要である。 OOD検出方法は、信頼性ベースの(OOD検出のためにモデルの出力層を使用する)または機能ベースの(出力層を使用しない)のいずれかに分類することができる。 我々は、D7P(皮膚科学)とBreastMNIST(超音波)のデータセットをアーティファクト(ルーラーまたはアノテーション)を含むか含まないサブセットに分割することで、2つの新しいOODベンチマークを作成しました。 モデルは人工物なしの画像で訓練され、人工物付き画像はOODテストセットとして使用された。 それぞれのOOD画像に対して,手動で画像処理によって人工物を取り除き,その人工物がモデルの予測に与える影響を評価することで,偽物を生成する。 OODアーティファクトは、トレーニングデータと他の要因との相関関係から、モデルの予測におけるソフトマックスの信頼性を高めることができることを示す。 これは、OOD人工物がより不確実な出力をもたらすという一般的な仮定と矛盾する。 本稿では,機能に基づく手法(例えばマハラノビススコア)が信頼性に基づく手法(例えばMCP)よりもOOD検出性能が高い理由を説明する。 しかし,機能に基づく手法は,OODデータとIDデータの両方において,正確かつ誤った予測につながる入力を区別する上で,一般的には悪い性能を示すことを示す。 これらの知見に従えば、機能ベースと信頼性ベースのメソッドの組み合わせは、それぞれの弱点を軽減するために、DNNパイプライン内で使用されるべきだ、と論じる。 これらのプロジェクトのコードとOODベンチマークは、https://github.com/HarryAnthony/Evaluating_OOD_detectionで公開されている。

関連論文リスト

• The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
  アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。 我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:02:04Z)
• Can OOD Object Detectors Learn from Foundation Models? [56.03404530594071]
  アウト・オブ・ディストリビューション(OOD)オブジェクト検出は、オープンセットのOODデータがないため、難しい課題である。 テキストから画像への生成モデルの最近の進歩に触発されて,大規模オープンセットデータを用いて訓練された生成モデルがOODサンプルを合成する可能性について検討した。 SyncOODは,大規模基盤モデルの能力を活用するシンプルなデータキュレーション手法である。
  論文  参考訳（メタデータ） (2024-09-08T17:28:22Z)
• OAL: Enhancing OOD Detection Using Latent Diffusion [5.357756138014614]
  Outlier Aware Learning (OAL)フレームワークは、潜伏空間で直接OODトレーニングデータを合成する。 In-Distribution (ID) と収集したOOD特徴の区別を増幅する相互情報に基づくコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T11:01:43Z)
• Can Pre-trained Networks Detect Familiar Out-of-Distribution Data? [37.36999826208225]
  PT-OODが事前学習ネットワークのOOD検出性能に及ぼす影響について検討した。 特徴空間におけるPT-OODの低線形分離性はPT-OOD検出性能を著しく低下させることがわかった。 本稿では,大規模事前学習モデルに対する一意な解を提案する。
  論文  参考訳（メタデータ） (2023-10-02T02:01:00Z)
• Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
  外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。 我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-03-09T04:36:38Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• How Useful are Gradients for OOD Detection Really? [5.459639971144757]
  Out of Distribution(OOD)検出は、リアルタイムアプリケーションに高性能な機械学習モデルをデプロイする上で重要な課題である。 OOD検出のための勾配法を詳細に解析し,比較する。 本稿では,OOD検出における性能と計算効率の両面において,従来のベースラインよりも向上した汎用的,非段階的なOOD検出手法を提案する。
  論文  参考訳（メタデータ） (2022-05-20T21:10:05Z)
• DOODLER: Determining Out-Of-Distribution Likelihood from Encoder Reconstructions [6.577622354490276]
  本稿では,Of-Distribution Detectionのための新しい手法であるDOODLERを紹介し,検討する。 変分オートエンコーダを他のディープラーニングモデルと同じデータでトレーニングすることにより、VAEは、ID(In-Distribution)入力を正確に再構築することを学ぶが、OOD入力は再構築しない。 この分野の他の研究とは異なり、DOODLERはOODデータセットの存在について非常に弱い仮定しか必要とせず、より現実的なアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2021-09-27T14:54:55Z)
• OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
  現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。 本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-07-19T15:46:38Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。