論文の概要: Using StyleGAN for Visual Interpretability of Deep Learning Models on Medical Images

• arxiv url: http://arxiv.org/abs/2101.07563v1
• Date: Tue, 19 Jan 2021 11:13:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 04:28:45.486311
• Title: Using StyleGAN for Visual Interpretability of Deep Learning Models on Medical Images
• Title（参考訳）: 医用画像の深層学習モデルの視覚的解釈性に対するStyleGANの利用
• Authors: Kathryn Schutte, Olivier Moindrot, Paul H\'erent, Jean-Baptiste Schiratti, Simon J\'egou
• Abstract要約: 画像上の任意のブラックボックスモデルの予測を理解するために使用できる新しい解釈可能性法を提案する。 StyleGANは医療画像に基づいて訓練され、潜伏ベクトルと画像のマッピングを提供する。 この方向に沿って入力画像の潜在表現をシフトさせることにより、予測が変化する一連の新しい合成画像を生成することができる。
• 参考スコア（独自算出の注目度）: 0.7874708385247352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As AI-based medical devices are becoming more common in imaging fields like radiology and histology, interpretability of the underlying predictive models is crucial to expand their use in clinical practice. Existing heatmap-based interpretability methods such as GradCAM only highlight the location of predictive features but do not explain how they contribute to the prediction. In this paper, we propose a new interpretability method that can be used to understand the predictions of any black-box model on images, by showing how the input image would be modified in order to produce different predictions. A StyleGAN is trained on medical images to provide a mapping between latent vectors and images. Our method identifies the optimal direction in the latent space to create a change in the model prediction. By shifting the latent representation of an input image along this direction, we can produce a series of new synthetic images with changed predictions. We validate our approach on histology and radiology images, and demonstrate its ability to provide meaningful explanations that are more informative than GradCAM heatmaps. Our method reveals the patterns learned by the model, which allows clinicians to build trust in the model's predictions, discover new biomarkers and eventually reveal potential biases.
• Abstract（参考訳）: aiベースの医療機器が放射線学や組織学などの画像分野で一般的になるにつれ、基礎となる予測モデルの解釈性は臨床での使用拡大に不可欠である。 GradCAMのような既存のヒートマップベースの解釈可能性手法は、予測機能の位置のみを強調するが、予測にどのように貢献するかは説明していない。 本稿では,画像上の任意のブラックボックスモデルの予測を理解するために,入力画像をどのように修正して異なる予測を生成するかを示すことにより,新たな解釈可能性を提案する。 StyleGANは医療画像に基づいて訓練され、潜伏ベクトルと画像のマッピングを提供する。 提案手法は,潜在空間における最適方向を同定し,モデル予測の変化を生成する。 この方向に沿って入力画像の潜在表現をシフトさせることにより、予測が変化する一連の新しい合成画像を生成することができる。 組織学および放射線画像へのアプローチを検証し,GradCAMヒートマップよりも有意義な説明を提供する能力を示した。 提案手法は, モデルによって得られたパターンを明らかにし, 臨床医がモデルの予測を信頼し, 新たなバイオマーカーを発見し, 最終的には潜在的なバイアスを明らかにする。

関連論文リスト

• MLIP: Enhancing Medical Visual Representation with Divergence Encoder and Knowledge-guided Contrastive Learning [48.97640824497327]
  本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。 我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。 特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
  論文  参考訳（メタデータ） (2024-02-03T05:48:50Z)
• Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models [49.95603725998561]
  本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。 具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
  論文  参考訳（メタデータ） (2023-10-04T21:57:09Z)
• A Lightweight Generative Model for Interpretable Subject-level Prediction [0.07989135005592125]
  本稿では,本質的に解釈可能な単一対象予測手法を提案する。 実験により、結果のモデルを効率よく逆転させ、正確な主観レベルの予測を行うことが示されている。
  論文  参考訳（メタデータ） (2023-06-19T18:20:29Z)
• Prototype Learning for Explainable Brain Age Prediction [1.104960878651584]
  回帰タスクに特化して設計された,説明可能なプロトタイプベースモデルであるExPeRTを提案する。 提案モデルでは,プロトタイプラベルの重み付き平均値を用いて,学習したプロトタイプのラテント空間における距離からサンプル予測を行う。 提案手法は,モデル推論プロセスに関する知見を提供しながら,最先端の予測性能を実現した。
  論文  参考訳（メタデータ） (2023-06-16T14:13:21Z)
• TempSAL -- Uncovering Temporal Information for Deep Saliency Prediction [56.22339016797785]
  本稿では,逐次時間間隔でサリエンシマップを出力する新たなサリエンシ予測モデルを提案する。 提案手法は,学習した時間マップを組み合わせることで,サリエンシ予測を局所的に調整する。 私たちのコードはGitHubで公開されます。
  論文  参考訳（メタデータ） (2023-01-05T22:10:16Z)
• Visual Interpretable and Explainable Deep Learning Models for Brain Tumor MRI and COVID-19 Chest X-ray Images [0.0]
  我々は、ディープニューラルネットワークが医療画像をどのように分析するかを照らすための属性手法を評価する。 我々は近年の深層畳み込みニューラルネットワークモデルによる脳腫瘍MRIと新型コロナウイルス胸部X線データセットからの予測を属性とした。
  論文  参考訳（メタデータ） (2022-08-01T16:05:14Z)
• Contrastive Brain Network Learning via Hierarchical Signed Graph Pooling Model [64.29487107585665]
  脳機能ネットワーク上のグラフ表現学習技術は、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を容易にする。 本稿では,脳機能ネットワークからグラフレベル表現を抽出する階層型グラフ表現学習モデルを提案する。 また、モデルの性能をさらに向上させるために、機能的脳ネットワークデータをコントラスト学習のために拡張する新たな戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-14T20:03:52Z)
• Interpretable Mammographic Image Classification using Cased-Based Reasoning and Deep Learning [20.665935997959025]
  マンモグラフィーのケースベース推論を用いた新しい解釈型ニューラルネットワークアルゴリズムを提案する。 我々のネットワークは悪性度予測と、その予測を既知の医学的特徴を用いて説明する。
  論文  参考訳（メタデータ） (2021-07-12T17:42:09Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。