論文の概要: Preventing Shortcut Learning in Medical Image Analysis through Intermediate Layer Knowledge Distillation from Specialist Teachers

• arxiv url: http://arxiv.org/abs/2511.17421v2
• Date: Mon, 24 Nov 2025 10:32:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 16:30:37.518195
• Title: Preventing Shortcut Learning in Medical Image Analysis through Intermediate Layer Knowledge Distillation from Specialist Teachers
• Title（参考訳）: 専門教員の中間層知識蒸留による医用画像解析におけるショートカット学習の防止
• Authors: Christopher Boland, Sotirios Tsaftaris, Sonia Dahdouh,
• Abstract要約: ディープラーニングモデルは、トレーニングデータの急激な相関と無関係な特徴を使って、問題に対するショートカットを学習する傾向がある。 医用画像解析などの高リスクアプリケーションでは、この現象は、予測を行うときに臨床的に意味のある特徴を使用するのを防ぐことができる。 本稿では,タスク関連データの小さなサブセットに微調整された教師ネットワークを活用して,ショートカット学習を緩和する新しい知識蒸留フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models are prone to learning shortcut solutions to problems using spuriously correlated yet irrelevant features of their training data. In high-risk applications such as medical image analysis, this phenomenon may prevent models from using clinically meaningful features when making predictions, potentially leading to poor robustness and harm to patients. We demonstrate that different types of shortcuts (those that are diffuse and spread throughout the image, as well as those that are localized to specific areas) manifest distinctly across network layers and can, therefore, be more effectively targeted through mitigation strategies that target the intermediate layers. We propose a novel knowledge distillation framework that leverages a teacher network fine-tuned on a small subset of task-relevant data to mitigate shortcut learning in a student network trained on a large dataset corrupted with a bias feature. Through extensive experiments on CheXpert, ISIC 2017, and SimBA datasets using various architectures (ResNet-18, AlexNet, DenseNet-121, and 3D CNNs), we demonstrate consistent improvements over traditional Empirical Risk Minimization, augmentation-based bias-mitigation, and group-based bias-mitigation approaches. In many cases, we achieve comparable performance with a baseline model trained on bias-free data, even on out-of-distribution test data. Our results demonstrate the practical applicability of our approach to real-world medical imaging scenarios where bias annotations are limited and shortcut features are difficult to identify a priori.
• Abstract（参考訳）: ディープラーニングモデルは、トレーニングデータの急激な相関と無関係な特徴を使って、問題のショートカットソリューションを学ぶ傾向がある。 医用画像解析のような高リスクの応用では、この現象は、予測を行うときに臨床的に有意な特徴を使用することを防ぎ、患者に対する堅牢性と害をもたらす可能性がある。 ネットワーク層間で異なるタイプのショートカット(画像全体に拡散・拡散するショートカットと特定の領域に局在するショートカット)が明確に示され,中間層をターゲットにした緩和戦略により,より効果的に標的にすることができることを示す。 本稿では,教師ネットワークをタスク関連データの小さなサブセットに微調整し,偏りのある大規模なデータセットで学習した学生ネットワークにおけるショートカット学習を緩和する新しい知識蒸留フレームワークを提案する。 さまざまなアーキテクチャ(ResNet-18,AlexNet,DenseNet-121,3D CNN)を使用したCheXpert,ISIC 2017,SimBAデータセットに関する広範な実験を通じて,従来の経験的リスク最小化,拡張ベースのバイアス緩和,グループベースのバイアス軽減アプローチに対する一貫した改善を実証した。 多くの場合、偏見のないデータに基づいてトレーニングされたベースラインモデルで、アウト・オブ・ディストリビューションテストデータでも、同等のパフォーマンスを達成する。 本研究は, バイアスアノテーションが限定され, ショートカット特徴が先行性を特定するのが困難である実世界の医療画像シナリオへのアプローチの有効性を実証するものである。

関連論文リスト

• Iterative Misclassification Error Training (IMET): An Optimized Neural Network Training Technique for Image Classification [0.5115559623386964]
  カリキュラム学習とコアセット選択に触発された新しいフレームワークであるIMET(Iterative Misclassification Error Training)を紹介する。 IMETは、トレーニングプロセスの合理化を図りつつ、エッジケースに対するモデルの注意を先入観的かつ稀な結果に優先順位付けしながら、誤分類されたサンプルを特定することを目的としている。 本稿では,最新のResNetアーキテクチャに対するベンチマーク医用画像分類データセット上でのIMETの性能を評価する。
  論文  参考訳（メタデータ） (2025-07-01T04:14:16Z)
• Ensuring Medical AI Safety: Interpretability-Driven Detection and Mitigation of Spurious Model Behavior and Associated Data [14.991686165405959]
  2つのモダリティにまたがる4つの医療データセットを用いて,フレームワークの適用性を示す。 VGG16, ResNet50, および同時代のVision Transformerモデルにおいて, これらのバイアスを特定し, 解放することに成功した。
  論文  参考訳（メタデータ） (2025-01-23T16:39:09Z)
• Refining Tuberculosis Detection in CXR Imaging: Addressing Bias in Deep Neural Networks via Interpretability [1.9936075659851882]
  実験データから完全な分類精度を得ることができたとしても,深層学習モデルの信頼性は限られていると論じる。 大規模プロキシタスクでディープニューラルネットワークを事前トレーニングし、MOON(Mixed objective Optimization Network)を使用することで、モデルとエキスパート間の決定基盤の整合性を改善することができることを示す。
  論文  参考訳（メタデータ） (2024-07-19T06:41:31Z)
• Now You See It, Now You Dont: Adversarial Vulnerabilities in Computational Pathology [2.1577322127603407]
  病理画像における腫瘍パッチの分類の高精度なモデルが,最小限の摂動で容易に攻撃可能であることを示す。 解析結果から,高い成功率と低摂動エネルギーで,特定の入力画像に対して単一インスタンスのホワイトボックス攻撃を発生できることが示唆された。 本研究は, 対人攻撃の摂動エネルギー, 臨床的意義の形態的構造, 訓練された病理医による受容性, 深層学習モデルを用いて得られた塩分濃度マップとの関係を系統的に解析した。
  論文  参考訳（メタデータ） (2021-06-14T14:33:24Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Few-shot Medical Image Segmentation using a Global Correlation Network with Discriminative Embedding [60.89561661441736]
  医療画像分割のための新しい手法を提案する。 深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。 深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
  論文  参考訳（メタデータ） (2020-12-10T04:01:07Z)
• Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models [103.64435911083432]
  PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。 PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。 また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
  論文  参考訳（メタデータ） (2020-12-06T20:30:26Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。