論文の概要: Leukocyte Classification using Multimodal Architecture Enhanced by
Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2208.08331v1
- Date: Wed, 17 Aug 2022 14:54:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-18 12:41:38.072521
- Title: Leukocyte Classification using Multimodal Architecture Enhanced by
Knowledge Distillation
- Title(参考訳): 知識蒸留によるマルチモーダル構造を用いた白血球分類
- Authors: Litao Yang, Deval Mehta, Dwarikanath Mahapatra, Zongyuan Ge
- Abstract要約: We developed a efficient multimodal architecture based on a first of its kind multimodal WBC dataset for the task of WBC classification。
我々は,WBC分類のためのマルチモーダルWBCデータセットを初めて提示する; 2) 同時に効率が高く,複雑さの少ない高性能なマルチモーダルアーキテクチャを開発する。
- 参考スコア(独自算出の注目度): 15.465772956949731
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recently, a lot of automated white blood cells (WBC) or leukocyte
classification techniques have been developed. However, all of these methods
only utilize a single modality microscopic image i.e. either blood smear or
fluorescence based, thus missing the potential of a better learning from
multimodal images. In this work, we develop an efficient multimodal
architecture based on a first of its kind multimodal WBC dataset for the task
of WBC classification. Specifically, our proposed idea is developed in two
steps - 1) First, we learn modality specific independent subnetworks inside a
single network only; 2) We further enhance the learning capability of the
independent subnetworks by distilling knowledge from high complexity
independent teacher networks. With this, our proposed framework can achieve a
high performance while maintaining low complexity for a multimodal dataset. Our
unique contribution is two-fold - 1) We present a first of its kind multimodal
WBC dataset for WBC classification; 2) We develop a high performing multimodal
architecture which is also efficient and low in complexity at the same time.
- Abstract(参考訳): 近年,wbc(automated white blood cells)や白血球分類法が開発されている。
しかしながら、これらの方法のすべては、血液スメアまたは蛍光に基づく単一のモダリティ顕微鏡像のみを使用するため、マルチモーダル画像からのより良い学習の可能性が失われる。
本研究では,WBC分類のためのWBCデータセットを第一種として,効率的なマルチモーダルアーキテクチャを開発する。
具体的には,提案するアイデアは,まず,1つのネットワーク内でのみ,モダリティ固有の独立サブネットワークを学習する。
2)高複雑性の教師ネットワークから知識を抽出することで,独立したサブネットワークの学習能力をさらに強化する。
これにより,マルチモーダルデータセットの複雑性を低く保ちながら,高い性能を実現することができる。
当社のユニークな貢献は2つあります - 1) 我々は、wbc分類のための、その種類のマルチモーダルwbcデータセットの1つを提示します。
2) 高い性能のマルチモーダルアーキテクチャを開発し, 同時に複雑度も低く, かつ高効率なマルチモーダルアーキテクチャを提案する。
関連論文リスト
- MIND: Modality-Informed Knowledge Distillation Framework for Multimodal Clinical Prediction Tasks [50.98856172702256]
マルチモーダルモデル圧縮手法である MIND (Modality-Informed Knowledge Distillation) フレームワークを提案する。
MINDは、様々なサイズの事前訓練されたディープニューラルネットワークのアンサンブルから、より小さなマルチモーダルの学生に知識を伝達する。
時系列データと胸部X線画像を用いた2値および複数ラベルの臨床予測タスクにおけるMINDの評価を行った。
論文 参考訳(メタデータ) (2025-02-03T08:50:00Z) - Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。
具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。
マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
論文 参考訳(メタデータ) (2024-05-18T12:16:01Z) - Routing with Self-Attention for Multimodal Capsule Networks [108.85007719132618]
我々は,カプセルの強度をマルチモーダル学習フレームワークの文脈で活用できる,新しいマルチモーダルカプセルネットワークを提案する。
カプセルを大規模入力データに適応させるために, カプセルを選択する自己保持機構による新たなルーティングを提案する。
これにより、ノイズの多いビデオデータによる堅牢なトレーニングだけでなく、従来のルーティング方法と比較してカプセルネットワークのサイズを拡大することが可能になる。
論文 参考訳(メタデータ) (2021-12-01T19:01:26Z) - Knowledge distillation from multi-modal to mono-modal segmentation
networks [13.213798509506272]
学習したマルチモーダルネットワーク(教師)からモノモーダルネットワーク(学生)へ知識を伝達するフレームワークであるKD-Netを提案する。
学生ネットワークは教師から効果的に学習し、セグメンテーションの精度で常にベースラインのモノモーダルネットワークより優れていることを示す。
論文 参考訳(メタデータ) (2021-06-17T14:46:57Z) - Multimodal Knowledge Expansion [14.332957885505547]
ラベルを必要とせずにマルチモーダルデータを利用する知識蒸留に基づくフレームワークを提案する。
我々は、マルチモーダルな学生モデルが一貫して疑似ラベルを否定し、教師よりも優れた一般化を示す。
論文 参考訳(メタデータ) (2021-03-26T12:32:07Z) - Multi-modal AsynDGAN: Learn From Distributed Medical Image Data without
Sharing Private Information [55.866673486753115]
プライバシーとセキュリティを守るために拡張可能で弾力性のある学習フレームワークを提案します。
提案するフレームワークは分散Asynchronized Discriminator Generative Adrial Networks (AsynDGAN) である。
論文 参考訳(メタデータ) (2020-12-15T20:41:24Z) - More Diverse Means Better: Multimodal Deep Learning Meets Remote Sensing
Imagery Classification [43.35966675372692]
ディープネットワークをトレーニングし、ネットワークアーキテクチャを構築する方法を示します。
特に、深層ネットワークをトレーニングし、ネットワークアーキテクチャを構築する方法と同様に、異なる融合戦略を示す。
我々のフレームワークは画素単位の分類タスクに限らず、畳み込みニューラルネットワーク(CNN)を用いた空間情報モデリングにも適用できる。
論文 参考訳(メタデータ) (2020-08-12T17:45:25Z) - Deep Multimodal Neural Architecture Search [178.35131768344246]
様々なマルチモーダル学習タスクのための一般化された深層マルチモーダルニューラルアーキテクチャサーチ(MMnas)フレームワークを考案する。
マルチモーダル入力が与えられたら、まずプリミティブ演算のセットを定義し、その後、ディープエンコーダ-デコーダベースの統一バックボーンを構築する。
統合されたバックボーンの上にタスク固有のヘッドをアタッチして、異なるマルチモーダル学習タスクに取り組む。
論文 参考訳(メタデータ) (2020-04-25T07:00:32Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳(メタデータ) (2020-01-06T20:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。