論文の概要: MED-TEX: Transferring and Explaining Knowledge with Less Data from Pretrained Medical Imaging Models

• arxiv url: http://arxiv.org/abs/2008.02593v3
• Date: Wed, 12 Jan 2022 11:01:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 07:02:16.265288
• Title: MED-TEX: Transferring and Explaining Knowledge with Less Data from Pretrained Medical Imaging Models
• Title（参考訳）: med-tex: 事前訓練された医療画像モデルによる知識の伝達と説明
• Authors: Thanh Nguyen-Duc, He Zhao, Jianfei Cai and Dinh Phung
• Abstract要約: 小学生モデルは、厄介な予習教師モデルから知識を蒸留することにより、少ないデータで学習される。 教師モデルの予測に重要な入力領域を強調するために、説明モジュールを導入する。 本フレームワークは,基礎データセットの最先端手法と比較して,知識蒸留とモデル解釈のタスクに優れる。
• 参考スコア（独自算出の注目度）: 38.12462659279648
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep learning methods usually require a large amount of training data and lack interpretability. In this paper, we propose a novel knowledge distillation and model interpretation framework for medical image classification that jointly solves the above two issues. Specifically, to address the data-hungry issue, a small student model is learned with less data by distilling knowledge from a cumbersome pretrained teacher model. To interpret the teacher model and assist the learning of the student, an explainer module is introduced to highlight the regions of an input that are important for the predictions of the teacher model. Furthermore, the joint framework is trained by a principled way derived from the information-theoretic perspective. Our framework outperforms on the knowledge distillation and model interpretation tasks compared to state-of-the-art methods on a fundus dataset.
• Abstract（参考訳）: ディープラーニングの手法は通常、大量のトレーニングデータを必要とし、解釈性に欠ける。 本稿では,上記の2つの問題を共同で解決する,医用画像分類のための新しい知識蒸留とモデル解釈フレームワークを提案する。 具体的には、データ不足の問題に対処するために、未学習の教師モデルから知識を抽出することにより、少ないデータで小さな学生モデルを学習する。 教師モデルを解釈し、生徒の学習を支援するために、教師モデルの予測に重要な入力の領域を強調するために説明モジュールが導入された。 さらに,統合フレームワークは情報理論的視点から導かれる原則的手法で訓練される。 本フレームワークは,基礎データセットの最先端手法と比較して,知識蒸留とモデル解釈のタスクに優れる。

関連論文リスト

• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• MoMA: Momentum Contrastive Learning with Multi-head Attention-based Knowledge Distillation for Histopathology Image Analysis [5.396167537615578]
  計算病理学における特定のタスクに関して、品質データの欠如は一般的な問題である。 そこで本研究では,既存のモデルを用いて新たなターゲットモデルを学習する知識蒸留手法を提案する。 本研究では,教師モデルから学習対象モデルを学習するために,学習者・教師の枠組みを用いる。
  論文  参考訳（メタデータ） (2023-08-31T08:54:59Z)
• Algebraic Learning: Towards Interpretable Information Modeling [0.0]
  この論文は、一般的な情報モデリングにおける解釈可能性の問題に対処し、問題を2つの範囲から緩和する試みである。 まず、問題指向の視点を用いて、興味深い数学的性質が自然に現れるモデリング実践に知識を取り入れる。 第二に、訓練されたモデルを考えると、基礎となるシステムに関するさらなる洞察を抽出するために様々な方法を適用することができる。
  論文  参考訳（メタデータ） (2022-03-13T15:53:39Z)
• Exploring Bayesian Deep Learning for Urgent Instructor Intervention Need in MOOC Forums [58.221459787471254]
  大規模なオープンオンラインコース(MOOC)は、その柔軟性のおかげで、eラーニングの一般的な選択肢となっている。 多くの学習者とその多様な背景から、リアルタイムサポートの提供は課税されている。 MOOCインストラクターの大量の投稿と高い作業負荷により、インストラクターが介入を必要とするすべての学習者を識別できる可能性は低いです。 本稿では,モンテカルロドロップアウトと変分推論という2つの手法を用いて,学習者によるテキスト投稿のベイジアン深層学習を初めて検討する。
  論文  参考訳（メタデータ） (2021-04-26T15:12:13Z)
• Relational Subsets Knowledge Distillation for Long-tailed Retinal Diseases Recognition [65.77962788209103]
  本研究では,長尾データを知識に基づいて複数のクラスサブセットに分割し,クラスサブセット学習を提案する。 モデルがサブセット固有の知識の学習に集中するように強制する。 提案手法は長期網膜疾患認識タスクに有効であることが判明した。
  論文  参考訳（メタデータ） (2021-04-22T13:39:33Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Data-Efficient Ranking Distillation for Image Retrieval [15.88955427198763]
  近年のアプローチでは、より深く重いアーキテクチャからより小さなネットワークへ知識を伝達するために、知識蒸留を用いてこの問題に対処している。 本稿では,計量学習問題に対する知識蒸留について述べる。 従来の手法とは違って,提案手法では,教師モデルに対する限定的なクエリ,最終出力表現へのアクセスを伴うブラックボックス教師モデル,および第3に,基本トラストラベルのないオリジナルトレーニングデータのごく一部に対処する。
  論文  参考訳（メタデータ） (2020-07-10T10:59:16Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。