論文の概要: Distilling BlackBox to Interpretable models for Efficient Transfer
Learning
- arxiv url: http://arxiv.org/abs/2305.17303v7
- Date: Fri, 7 Jul 2023 21:30:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 18:21:03.089349
- Title: Distilling BlackBox to Interpretable models for Efficient Transfer
Learning
- Title（参考訳）: 効率的な伝達学習のための解釈モデルへのBlackBoxの蒸留
- Authors: Shantanu Ghosh, Ke Yu, Kayhan Batmanghelich
- Abstract要約: 一般化可能なAIモデルの構築は、医療分野における大きな課題のひとつだ。
あるドメインから別のドメインに知識を転送するモデルを微調整するには、ターゲットドメイン内の大量のラベル付きデータが必要である。
本研究では,最小の計算コストで効率よく未確認対象領域に微調整できる解釈可能なモデルを開発する。
- 参考スコア（独自算出の注目度）: 19.40897632956169
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Building generalizable AI models is one of the primary challenges in the
healthcare domain. While radiologists rely on generalizable descriptive rules
of abnormality, Neural Network (NN) models suffer even with a slight shift in
input distribution (e.g., scanner type). Fine-tuning a model to transfer
knowledge from one domain to another requires a significant amount of labeled
data in the target domain. In this paper, we develop an interpretable model
that can be efficiently fine-tuned to an unseen target domain with minimal
computational cost. We assume the interpretable component of NN to be
approximately domain-invariant. However, interpretable models typically
underperform compared to their Blackbox (BB) variants. We start with a BB in
the source domain and distill it into a \emph{mixture} of shallow interpretable
models using human-understandable concepts. As each interpretable model covers
a subset of data, a mixture of interpretable models achieves comparable
performance as BB. Further, we use the pseudo-labeling technique from
semi-supervised learning (SSL) to learn the concept classifier in the target
domain, followed by fine-tuning the interpretable models in the target domain.
We evaluate our model using a real-life large-scale chest-X-ray (CXR)
classification dataset. The code is available at:
\url{https://github.com/batmanlab/MICCAI-2023-Route-interpret-repeat-CXRs}.
- Abstract（参考訳）: 一般化可能なAIモデルの構築は、医療分野における大きな課題のひとつだ。
放射線科医は、異常の一般的な記述規則に依存するが、ニューラルネットワーク(nn)モデルは、入力分布(例えばスキャナタイプ)のわずかな変化でも苦しむ。
あるドメインから別のドメインに知識を転送するモデルを微調整するには、ターゲットドメイン内の大量のラベル付きデータが必要である。
本稿では,最小の計算コストで対象領域に効率的に微調整可能な解釈可能なモデルを開発した。
NNの解釈可能なコンポーネントは、ほぼドメイン不変であると仮定する。
しかし、解釈可能なモデルは一般的にブラックボックス(BB)の派生モデルと比べて性能が劣る。
まずソース領域のBBから始まり、人間の理解可能な概念を用いて浅い解釈可能なモデルのemph{mixture}に蒸留する。
各解釈可能なモデルはデータのサブセットをカバーするため、解釈可能なモデルの混合はBBと同等のパフォーマンスを達成する。
さらに、準教師付き学習(SSL)の擬似ラベル技術を用いて、対象領域における概念分類器を学習し、続いて対象領域における解釈可能なモデルを微調整する。
実生活型大規模胸部X線分類データセットを用いて本モデルの評価を行った。
コードは以下の通りである。 \url{https://github.com/batmanlab/MICCAI-2023-Route-interpret-repeat-CXRs}。
関連論文リスト
- Universality in Transfer Learning for Linear Models [18.427215139020625]
回帰モデルと二分分類モデルの両方を対象とした線形モデルにおける伝達学習の問題点について検討する。
我々は、厳密かつ厳密な分析を行い、事前訓練されたモデルと微調整されたモデルに対する一般化誤差(回帰)と分類誤差(二分分類)を関連付ける。
論文 参考訳（メタデータ） (2024-10-03T03:09:09Z) - Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-07-22T18:00:00Z) - Explainable AI for Comparative Analysis of Intrusion Detection Models [20.683181384051395]
本研究は,ネットワークトラフィックから侵入検出を行うために,各種機械学習モデルを二分分類および多クラス分類のタスクに解析する。
すべてのモデルをUNSW-NB15データセットで90%の精度でトレーニングしました。
また、Random Forestは正確さ、時間効率、堅牢性という点で最高のパフォーマンスを提供します。
論文 参考訳（メタデータ） (2024-06-14T03:11:01Z) - Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳（メタデータ） (2023-10-22T23:56:19Z) - DREAM: Domain-free Reverse Engineering Attributes of Black-box Model [51.37041886352823]
ブラックボックス対象モデルの属性をドメインに依存しないリバースエンジニアリングの新しい問題を提案する。
対象のブラックボックスモデルの属性を未知のトレーニングデータで推測するために,ドメインに依存しないモデルを学ぶ。
論文 参考訳（メタデータ） (2023-07-20T16:25:58Z) - Uncertainty-Aware Semi-Supervised Learning for Prostate MRI Zonal
Segmentation [0.9176056742068814]
比較的少数のアノテーションしか必要としない新しい半教師付き学習(SSL)手法を提案する。
提案手法は,近年の深層学習の不確実性推定モデルを用いた擬似ラベル手法を用いる。
提案モデルは,ProstateXデータセットと外部テストセットを用いた実験において,半教師付きモデルよりも優れていた。
論文 参考訳（メタデータ） (2023-05-10T08:50:04Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳（メタデータ） (2022-10-05T09:17:27Z) - Adaptive Convolutional Dictionary Network for CT Metal Artifact
Reduction [62.691996239590125]
本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。
我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。
本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
論文 参考訳（メタデータ） (2022-05-16T06:49:36Z) - Combining Discrete Choice Models and Neural Networks through Embeddings:
Formulation, Interpretability and Performance [10.57079240576682]
本研究では、ニューラルネットワーク(ANN)を用いた理論とデータ駆動選択モデルを組み合わせた新しいアプローチを提案する。
特に、分類的または離散的説明変数を符号化するために、埋め込みと呼ばれる連続ベクトル表現を用いる。
我々のモデルは最先端の予測性能を提供し、既存のANNモデルよりも優れ、必要なネットワークパラメータの数を劇的に削減します。
論文 参考訳（メタデータ） (2021-09-24T15:55:31Z) - Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。
従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。
本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
論文 参考訳（メタデータ） (2021-01-21T01:46:36Z) - Interpreting Graph Neural Networks for NLP With Differentiable Edge
Masking [63.49779304362376]
グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。
本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。
モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
論文 参考訳（メタデータ） (2020-10-01T17:51:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。