論文の概要: Ensuring Medical AI Safety: Interpretability-Driven Detection and Mitigation of Spurious Model Behavior and Associated Data
- arxiv url: http://arxiv.org/abs/2501.13818v2
- Date: Tue, 29 Jul 2025 16:04:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-30 19:17:25.906412
- Title: Ensuring Medical AI Safety: Interpretability-Driven Detection and Mitigation of Spurious Model Behavior and Associated Data
- Title（参考訳）: 医療AIの安全性を保証する: 解釈可能性駆動型検出とスパーラスモデル行動の軽減と関連データ
- Authors: Frederik Pahde, Thomas Wiegand, Sebastian Lapuschkin, Wojciech Samek,
- Abstract要約: 2つのモダリティにまたがる4つの医療データセットを用いて,フレームワークの適用性を示す。
VGG16, ResNet50, および同時代のVision Transformerモデルにおいて, これらのバイアスを特定し, 解放することに成功した。
- 参考スコア（独自算出の注目度）: 14.991686165405959
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks are increasingly employed in high-stakes medical applications, despite their tendency for shortcut learning in the presence of spurious correlations, which can have potentially fatal consequences in practice. Whereas a multitude of works address either the detection or mitigation of such shortcut behavior in isolation, the Reveal2Revise approach provides a comprehensive bias mitigation framework combining these steps. However, effectively addressing these biases often requires substantial labeling efforts from domain experts. In this work, we review the steps of the Reveal2Revise framework and enhance it with semi-automated interpretability-based bias annotation capabilities. This includes methods for the sample- and feature-level bias annotation, providing valuable information for bias mitigation methods to unlearn the undesired shortcut behavior. We show the applicability of the framework using four medical datasets across two modalities, featuring controlled and real-world spurious correlations caused by data artifacts. We successfully identify and mitigate these biases in VGG16, ResNet50, and contemporary Vision Transformer models, ultimately increasing their robustness and applicability for real-world medical tasks. Our code is available at https://github.com/frederikpahde/medical-ai-safety.
- Abstract（参考訳）: 深層ニューラルネットワークは、急激な相関関係の存在下でのショートカット学習の傾向にもかかわらず、医療応用においてますます採用されており、実際には致命的な結果をもたらす可能性がある。
しかしReveal2Reviseアプローチは、これらのステップを組み合わせた包括的なバイアス緩和フレームワークを提供する。
しかしながら、これらのバイアスに効果的に対処するには、しばしばドメインの専門家による実質的なラベル付けの努力が必要である。
本稿では、Reveal2Reviseフレームワークのステップをレビューし、半自動解釈可能性に基づくバイアスアノテーション機能でそれを強化する。
これにはサンプルレベルのバイアスアノテーションと特徴レベルのバイアスアノテーションの方法が含まれており、望ましくないショートカットの振る舞いを解き放つバイアス軽減手法に貴重な情報を提供する。
データアーチファクトによって引き起こされる実世界と実世界の相互関係を特徴とする,2つのモードにわたる4つの医療データセットを用いたフレームワークの適用性を示す。
我々は、これらのバイアスをVGG16、ResNet50、そして現代のビジョントランスフォーマーモデルで識別し緩和し、最終的に、現実世界の医療タスクに対する堅牢性と適用性を高めた。
私たちのコードはhttps://github.com/frederikpahde/medical-ai-safetyで利用可能です。
関連論文リスト
- Detecting Dataset Bias in Medical AI: A Generalized and Modality-Agnostic Auditing Framework [8.520644988801243]
機械学習データセットの潜時バイアスは、トレーニング中に増幅され、テスト中に/または隠される。
本稿では,偏見源に関するターゲット仮説を生成するためのデータモダリティに依存しない監査フレームワークを提案する。
大規模医療データセットを解析することにより,本手法の適用可能性と価値を実証する。
論文 参考訳（メタデータ） (2025-03-13T02:16:48Z) - Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。
このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。
本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文 参考訳（メタデータ） (2024-02-07T21:58:40Z) - Detecting Spurious Correlations via Robust Visual Concepts in Real and
AI-Generated Image Classification [12.992095539058022]
本稿では,潜在的スパイラル相関を効率的に検出する汎用手法を提案する。
提案手法は,ピクセルレベルのアノテーションを不要にしつつ,直感的な説明を提供する。
また,本手法は,生成モデル由来の下流アプリケーションに伝播する急激な相関を検出するのにも適している。
論文 参考訳（メタデータ） (2023-11-03T01:12:35Z) - A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
本稿では,DAF(Disdisrepancy Aware Framework)を提案する。
本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。
単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
論文 参考訳（メタデータ） (2023-10-11T15:21:40Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - Shortcut Detection with Variational Autoencoders [1.3174512123890016]
可変オートエンコーダ(VAE)を利用した画像および音声データセットのショートカット検出手法を提案する。
VAEの潜在空間における特徴の分散により、データセット内の特徴目標相関を発見し、MLショートカットに対して半自動評価することが可能になる。
本手法の適用性を実世界のいくつかのデータセットに適用し,これまで発見されていないショートカットを同定する。
論文 参考訳（メタデータ） (2023-02-08T18:26:10Z) - Causal Discovery and Knowledge Injection for Contestable Neural Networks
(with Appendices) [10.616061367794385]
本稿では,ニューラルネットワークを利用したマシンが学習因果グラフの基盤を公開できる双方向インタラクションを提案する。
提案手法は,入力層で最大7倍小さい擬似ネットワークを生成中の予測性能を2.4倍に向上することを示す。
論文 参考訳（メタデータ） (2022-05-19T18:21:12Z) - Towards Unbiased Visual Emotion Recognition via Causal Intervention [63.74095927462]
本稿では,データセットバイアスによる負の効果を軽減するために,新しい感情認識ネットワーク(IERN)を提案する。
IERNの有効性を検証する一連の設計されたテストと、3つの感情ベンチマークの実験は、IERNが他の最先端のアプローチよりも優れていることを示した。
論文 参考訳（メタデータ） (2021-07-26T10:40:59Z) - Explainable Adversarial Attacks in Deep Neural Networks Using Activation
Profiles [69.9674326582747]
本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。
これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
論文 参考訳（メタデータ） (2021-03-18T13:04:21Z) - Proactive Pseudo-Intervention: Causally Informed Contrastive Learning
For Interpretable Vision Models [103.64435911083432]
PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。
PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。
また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
論文 参考訳（メタデータ） (2020-12-06T20:30:26Z) - Unsupervised Multi-Modal Representation Learning for Affective Computing
with Multi-Corpus Wearable Data [16.457778420360537]
我々は、人間の監督への依存を減らすために、教師なしの枠組みを提案する。
提案フレームワークは2つの畳み込み自己エンコーダを用いて、ウェアラブル心電図(ECG)と電磁気放射能(EDA)信号から潜時表現を学習する。
提案手法は, 同一のデータセット上での覚醒検出を行ない, 現状の成果よりも優れていた。
論文 参考訳（メタデータ） (2020-08-24T22:01:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。