論文の概要: MoMA: Momentum Contrastive Learning with Multi-head Attention-based
Knowledge Distillation for Histopathology Image Analysis
- arxiv url: http://arxiv.org/abs/2308.16561v1
- Date: Thu, 31 Aug 2023 08:54:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 15:15:59.108867
- Title: MoMA: Momentum Contrastive Learning with Multi-head Attention-based
Knowledge Distillation for Histopathology Image Analysis
- Title（参考訳）: MoMA: 病理画像解析のための多面的注意に基づく知識蒸留によるMomentum Contrastive Learning
- Authors: Trinh Thi Le Vuong and Jin Tae Kwak
- Abstract要約: 計算病理学における特定のタスクに関して、品質データの欠如は一般的な問題である。
そこで本研究では,既存のモデルを用いて新たなターゲットモデルを学習する知識蒸留手法を提案する。
本研究では,教師モデルから学習対象モデルを学習するために,学習者・教師の枠組みを用いる。
- 参考スコア（独自算出の注目度）: 5.396167537615578
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: There is no doubt that advanced artificial intelligence models and high
quality data are the keys to success in developing computational pathology
tools. Although the overall volume of pathology data keeps increasing, a lack
of quality data is a common issue when it comes to a specific task due to
several reasons including privacy and ethical issues with patient data. In this
work, we propose to exploit knowledge distillation, i.e., utilize the existing
model to learn a new, target model, to overcome such issues in computational
pathology. Specifically, we employ a student-teacher framework to learn a
target model from a pre-trained, teacher model without direct access to source
data and distill relevant knowledge via momentum contrastive learning with
multi-head attention mechanism, which provides consistent and context-aware
feature representations. This enables the target model to assimilate
informative representations of the teacher model while seamlessly adapting to
the unique nuances of the target data. The proposed method is rigorously
evaluated across different scenarios where the teacher model was trained on the
same, relevant, and irrelevant classification tasks with the target model.
Experimental results demonstrate the accuracy and robustness of our approach in
transferring knowledge to different domains and tasks, outperforming other
related methods. Moreover, the results provide a guideline on the learning
strategy for different types of tasks and scenarios in computational pathology.
Code is available at: \url{https://github.com/trinhvg/MoMA}.
- Abstract（参考訳）: 高度な人工知能モデルと高品質なデータが、計算病理学ツールの開発の成功の鍵であることは間違いない。
病理データの総量は増え続けているが、患者データに対するプライバシーや倫理的問題など、特定のタスクに関しては、品質データの欠如が一般的な問題である。
本研究では, 既存のモデルを用いて新たな対象モデルを学び, 計算病理学における課題を克服するために, 知識蒸留を利用する方法を提案する。
具体的には,教師が直接ソースデータにアクセスすることなく,学習対象モデルから学習し,マルチヘッド・アテンション・メカニズムを用いたモーメント・コントラッシブ・ラーニングを通じて関連する知識を抽出し,一貫したコンテキスト認識型特徴表現を提供する。
これにより、ターゲットモデルは、ターゲットデータのユニークなニュアンスにシームレスに対応しながら、教師モデルの情報表現を同化することができる。
提案手法は,教師モデルが対象モデルと同一で適切で無関係な分類タスクで訓練された様々なシナリオにおいて厳密に評価される。
実験結果は,知識を異なる領域やタスクに伝達する手法の精度と堅牢性を示し,他の手法よりも優れていることを示す。
さらに、計算病理学における様々なタスクやシナリオの学習戦略に関するガイドラインを提供する。
コードは \url{https://github.com/trinhvg/moma} で入手できる。
関連論文リスト
- Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳（メタデータ） (2023-09-11T14:16:37Z) - TIDo: Source-free Task Incremental Learning in Non-stationary
Environments [0.0]
モデルベースのエージェントを更新して新しいターゲットタスクを学習するには、過去のトレーニングデータを格納する必要があります。
ラベル付きターゲットデータセットの制限を克服するタスクインクリメンタル学習手法はほとんどない。
本研究では,非定常的および目標的タスクに適応可能なワンショットタスクインクリメンタル学習手法を提案する。
論文 参考訳（メタデータ） (2023-01-28T02:19:45Z) - Prototype-guided Cross-task Knowledge Distillation for Large-scale
Models [103.04711721343278]
クロスタスクの知識蒸留は、競争力のあるパフォーマンスを得るために小さな学生モデルを訓練するのに役立ちます。
本稿では,大規模教師ネットワークの内在的ローカルレベルのオブジェクト知識を様々なタスクシナリオに転送するための,プロトタイプ誘導型クロスタスク知識蒸留(ProC-KD)アプローチを提案する。
論文 参考訳（メタデータ） (2022-12-26T15:00:42Z) - An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale
Multitask Learning Systems [4.675744559395732]
マルチタスク学習は、複数のタスクから学習できるモデルが知識伝達によってより良い品質と効率を達成すると仮定する。
最先端のMLモデルは、タスクごとに高いカスタマイズに依存し、タスクの数をスケールするのではなく、サイズとデータスケールを活用する。
本稿では,大規模マルチタスクモデルを生成でき,新しいタスクの動的かつ連続的な追加を支援する進化的手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T13:10:47Z) - Continual Learning with Bayesian Model based on a Fixed Pre-trained
Feature Extractor [55.9023096444383]
現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。
人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
論文 参考訳（メタデータ） (2022-04-28T08:41:51Z) - DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。
タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
論文 参考訳（メタデータ） (2022-04-03T02:29:11Z) - Lifelong Infinite Mixture Model Based on Knowledge-Driven Dirichlet
Process [15.350366047108103]
生涯学習における最近の研究成果は、タスクの増加に対応するために、モデルの混合を成長させることが提案されている。
本研究では,データの確率的表現間の差分距離に基づいてリスク境界を導出することにより,生涯学習モデルの理論的解析を行う。
理論解析に着想を得て, 生涯無限混合モデル (LIMix) と呼ばれる新しい生涯学習手法を導入する。
論文 参考訳（メタデータ） (2021-08-25T21:06:20Z) - Knowledge-driven Data Construction for Zero-shot Evaluation in
Commonsense Question Answering [80.60605604261416]
本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。
言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。
個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
論文 参考訳（メタデータ） (2020-11-07T22:52:21Z) - MED-TEX: Transferring and Explaining Knowledge with Less Data from
Pretrained Medical Imaging Models [38.12462659279648]
小学生モデルは、厄介な予習教師モデルから知識を蒸留することにより、少ないデータで学習される。
教師モデルの予測に重要な入力領域を強調するために、説明モジュールを導入する。
本フレームワークは,基礎データセットの最先端手法と比較して,知識蒸留とモデル解釈のタスクに優れる。
論文 参考訳（メタデータ） (2020-08-06T11:50:32Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-14T16:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。