論文の概要: Ensuring Medical AI Safety: Explainable AI-Driven Detection and Mitigation of Spurious Model Behavior and Associated Data

• arxiv url: http://arxiv.org/abs/2501.13818v1
• Date: Thu, 23 Jan 2025 16:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 19:17:07.341071
• Title: Ensuring Medical AI Safety: Explainable AI-Driven Detection and Mitigation of Spurious Model Behavior and Associated Data
• Title（参考訳）: 医療AIの安全性を保証する: 説明可能なAI駆動型検出とスパーラスモデル行動の軽減と関連データ
• Authors: Frederik Pahde, Thomas Wiegand, Sebastian Lapuschkin, Wojciech Samek,
• Abstract要約: 本稿では,データとモデルの両方の観点から,突発的行動を特定するための半自動フレームワークを提案する。 これにより、急激なデータポイントの検索と、関連する予測ルールを符号化するモデル回路の検出が可能になる。 4つの医療データセットを用いて,本フレームワークの適用性を示す。
• 参考スコア（独自算出の注目度）: 14.991686165405959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are increasingly employed in high-stakes medical applications, despite their tendency for shortcut learning in the presence of spurious correlations, which can have potentially fatal consequences in practice. Detecting and mitigating shortcut behavior is a challenging task that often requires significant labeling efforts from domain experts. To alleviate this problem, we introduce a semi-automated framework for the identification of spurious behavior from both data and model perspective by leveraging insights from eXplainable Artificial Intelligence (XAI). This allows the retrieval of spurious data points and the detection of model circuits that encode the associated prediction rules. Moreover, we demonstrate how these shortcut encodings can be used for XAI-based sample- and pixel-level data annotation, providing valuable information for bias mitigation methods to unlearn the undesired shortcut behavior. We show the applicability of our framework using four medical datasets across two modalities, featuring controlled and real-world spurious correlations caused by data artifacts. We successfully identify and mitigate these biases in VGG16, ResNet50, and contemporary Vision Transformer models, ultimately increasing their robustness and applicability for real-world medical tasks.
• Abstract（参考訳）: 深層ニューラルネットワークは、急激な相関関係の存在下でのショートカット学習の傾向にもかかわらず、医療応用においてますます採用されており、実際には致命的な結果をもたらす可能性がある。 ショートカット動作の検出と緩和は、ドメインの専門家による重要なラベル付け作業を必要とすることが多い、難しい作業です。 この問題を軽減するために,eXplainable Artificial Intelligence (XAI) の知見を活用することにより,データとモデルの両方の観点からの突発的行動の同定のための半自動化フレームワークを導入する。 これにより、急激なデータポイントの検索と、関連する予測ルールを符号化するモデル回路の検出が可能になる。 さらに,これらのショートカットエンコーディングをXAIベースのサンプルレベルおよびピクセルレベルのデータアノテーションにどのように利用することができるかを示し,不必要なショートカット動作を解放するためのバイアス軽減手法として貴重な情報を提供する。 データアーティファクトによって引き起こされる現実的および現実的な相互相関を特徴とする,2つのモードにわたる4つの医療データセットを用いて,我々のフレームワークの適用性を示す。 我々は、これらのバイアスをVGG16、ResNet50、そして現代のビジョントランスフォーマーモデルで識別し緩和し、最終的に、現実世界の医療タスクに対する堅牢性と適用性を高めた。

関連論文リスト

• Adversarial Activation Patching: A Framework for Detecting and Mitigating Emergent Deception in Safety-Aligned Transformers [0.0]
  大規模言語モデル(LLM)は、安全のために整列し、しばしば突発的な騙し行動を示す。 本稿では,新しい機械的解釈可能性フレームワークである逆アクティベーションパッチについて紹介する。 のプロンプトからアクティベーションをソーシングすることで、脆弱性をシミュレートし、偽装率を定量化する。
  論文  参考訳（メタデータ） (2025-07-12T21:29:49Z)
• Collaborative Value Function Estimation Under Model Mismatch: A Federated Temporal Difference Analysis [55.13545823385091]
  フェデレーション強化学習(FedRL)は、エージェント間のデータ交換を防止し、データのプライバシを維持しながら協調学習を可能にする。 現実世界のアプリケーションでは、各エージェントは若干異なる遷移ダイナミクスを経験し、固有のモデルミスマッチを引き起こす。 情報共有の適度なレベルでさえ、環境固有のエラーを著しく軽減することを示す。
  論文  参考訳（メタデータ） (2025-03-21T18:06:28Z)
• Detecting Dataset Bias in Medical AI: A Generalized and Modality-Agnostic Auditing Framework [8.520644988801243]
  機械学習データセットの潜時バイアスは、トレーニング中に増幅され、テスト中に/または隠される。 本稿では,偏見源に関するターゲット仮説を生成するためのデータモダリティに依存しない監査フレームワークを提案する。 大規模医療データセットを解析することにより,本手法の適用可能性と価値を実証する。
  論文  参考訳（メタデータ） (2025-03-13T02:16:48Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Leveraging Unlabeled Data for 3D Medical Image Segmentation through Self-Supervised Contrastive Learning [3.7395287262521717]
  現在の3次元半教師付きセグメンテーション法は、文脈情報の限定的考慮のような重要な課題に直面している。 両者の相違を探索し、活用するために設計された2つの個別のワークを導入し、最終的に誤った予測結果を修正した。 我々は、信頼できない予測と信頼できない予測を区別するために、自己教師付きコントラスト学習パラダイムを採用している。
  論文  参考訳（メタデータ） (2023-11-21T14:03:16Z)
• Detecting Spurious Correlations via Robust Visual Concepts in Real and AI-Generated Image Classification [12.992095539058022]
  本稿では,潜在的スパイラル相関を効率的に検出する汎用手法を提案する。 提案手法は,ピクセルレベルのアノテーションを不要にしつつ,直感的な説明を提供する。 また,本手法は,生成モデル由来の下流アプリケーションに伝播する急激な相関を検出するのにも適している。
  論文  参考訳（メタデータ） (2023-11-03T01:12:35Z)
• A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
  本稿では,DAF(Disdisrepancy Aware Framework)を提案する。 本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。 単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
  論文  参考訳（メタデータ） (2023-10-11T15:21:40Z)
• Improving Explainability of Disentangled Representations using Multipath-Attribution Mappings [12.145748796751619]
  下流タスク予測に解釈不能な不整合表現を利用するフレームワークを提案する。 提案手法の有効性を,総合ベンチマークスイートと2つの医療データセットで実証する。
  論文  参考訳（メタデータ） (2023-06-15T10:52:29Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Shortcut Detection with Variational Autoencoders [1.3174512123890016]
  可変オートエンコーダ(VAE)を利用した画像および音声データセットのショートカット検出手法を提案する。 VAEの潜在空間における特徴の分散により、データセット内の特徴目標相関を発見し、MLショートカットに対して半自動評価することが可能になる。 本手法の適用性を実世界のいくつかのデータセットに適用し,これまで発見されていないショートカットを同定する。
  論文  参考訳（メタデータ） (2023-02-08T18:26:10Z)
• Detecting Adversarial Examples in Batches -- a geometrical approach [0.0]
  本稿では,2つの幾何学的測度,密度とカバレッジを導入し,不明瞭なデータのバッチにおける対数サンプルの検出におけるそれらの使用性を評価する。 MNISTとMedMNISTの2つの実世界のバイオメディカルデータセットを用いて、これらの指標を実証的に研究し、2つの異なる敵攻撃を受けた。 本実験は,両指標が敵対例を検出するための有望な結果を示す。
  論文  参考訳（メタデータ） (2022-06-17T12:52:43Z)
• Causal Discovery and Knowledge Injection for Contestable Neural Networks (with Appendices) [10.616061367794385]
  本稿では,ニューラルネットワークを利用したマシンが学習因果グラフの基盤を公開できる双方向インタラクションを提案する。 提案手法は,入力層で最大7倍小さい擬似ネットワークを生成中の予測性能を2.4倍に向上することを示す。
  論文  参考訳（メタデータ） (2022-05-19T18:21:12Z)
• Real-time landmark detection for precise endoscopic submucosal dissection via shape-aware relation network [51.44506007844284]
  内視鏡下粘膜下郭清術における高精度かつリアルタイムなランドマーク検出のための形状認識型関係ネットワークを提案する。 まず,ランドマーク間の空間的関係に関する先行知識を直感的に表現する関係キーポイント・ヒートマップを自動生成するアルゴリズムを考案する。 次に、事前知識を学習プロセスに段階的に組み込むために、2つの補完的な正規化手法を開発する。
  論文  参考訳（メタデータ） (2021-11-08T07:57:30Z)
• Towards Unbiased Visual Emotion Recognition via Causal Intervention [63.74095927462]
  本稿では,データセットバイアスによる負の効果を軽減するために,新しい感情認識ネットワーク(IERN)を提案する。 IERNの有効性を検証する一連の設計されたテストと、3つの感情ベンチマークの実験は、IERNが他の最先端のアプローチよりも優れていることを示した。
  論文  参考訳（メタデータ） (2021-07-26T10:40:59Z)
• Federated Semi-supervised Medical Image Classification via Inter-client Relation Matching [58.26619456972598]
  フェデレートラーニング(FL)は、ディープ・ネットワークのトレーニングのために、分散医療機関とのコラボレーションで人気が高まっている。 本報告では,実践的かつ困難なFL問題であるtextitFederated Semi-supervised Learning (FSSL)について検討する。 本稿では, 従来の整合性正規化機構を改良し, クライアント間関係マッチング方式を提案する。
  論文  参考訳（メタデータ） (2021-06-16T07:58:00Z)
• Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation [74.05906222376608]
  クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。 i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
  論文  参考訳（メタデータ） (2021-05-23T01:50:44Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• Estimating and Improving Fairness with Adversarial Learning [65.99330614802388]
  本研究では,深層学習に基づく医療画像解析システムにおけるバイアスの同時緩和と検出を目的としたマルチタスク・トレーニング戦略を提案する。 具体的には,バイアスに対する識別モジュールと,ベース分類モデルにおける不公平性を予測するクリティカルモジュールを追加することを提案する。 大規模で利用可能な皮膚病変データセットのフレームワークを評価します。
  論文  参考訳（メタデータ） (2021-03-07T03:10:32Z)
• Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models [103.64435911083432]
  PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。 PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。 また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
  論文  参考訳（メタデータ） (2020-12-06T20:30:26Z)
• Unsupervised Multi-Modal Representation Learning for Affective Computing with Multi-Corpus Wearable Data [16.457778420360537]
  我々は、人間の監督への依存を減らすために、教師なしの枠組みを提案する。 提案フレームワークは2つの畳み込み自己エンコーダを用いて、ウェアラブル心電図(ECG)と電磁気放射能(EDA)信号から潜時表現を学習する。 提案手法は, 同一のデータセット上での覚醒検出を行ない, 現状の成果よりも優れていた。
  論文  参考訳（メタデータ） (2020-08-24T22:01:55Z)
• Drug-Drug Interaction Prediction with Wasserstein Adversarial Autoencoder-based Knowledge Graph Embeddings [22.562175708415392]
  薬物・薬物相互作用のための知識グラフ埋め込みフレームワークを提案する。 本フレームワークでは, 高品質な負のサンプルを生成するために, オートエンコーダを用いる。 判別器は、正三重項と負三重項の両方に基づいて薬物と相互作用の埋め込みを学習する。
  論文  参考訳（メタデータ） (2020-04-15T21:03:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。