論文の概要: TriDeNT: Triple Deep Network Training for Privileged Knowledge Distillation in Histopathology

• arxiv url: http://arxiv.org/abs/2312.02111v1
• Date: Mon, 4 Dec 2023 18:43:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 14:20:47.774408
• Title: TriDeNT: Triple Deep Network Training for Privileged Knowledge Distillation in Histopathology
• Title（参考訳）: TriDeNT: 病理組織学における予備知識蒸留のための3つの深層ネットワークトレーニング
• Authors: Lucas Farndale, Robert Insall, Ke Yuan
• Abstract要約: 提案するTriDeNTは,推論中に利用できない特権データを利用した,パフォーマンス向上のための自己教師型手法である。 本研究では, 空間化学, 空間転写学, 専門的核アノテーションなど, 様々なデータに対して本手法の有効性を実証する。 あらゆる設定において、TriDeNTは、ダウンストリームタスクにおける他の最先端メソッドよりも優れており、最大101%の改善が観察されている。
• 参考スコア（独自算出の注目度）: 3.6141428739228902
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Computational pathology models rarely utilise data that will not be available for inference. This means most models cannot learn from highly informative data such as additional immunohistochemical (IHC) stains and spatial transcriptomics. We present TriDeNT, a novel self-supervised method for utilising privileged data that is not available during inference to improve performance. We demonstrate the efficacy of this method for a range of different paired data including immunohistochemistry, spatial transcriptomics and expert nuclei annotations. In all settings, TriDeNT outperforms other state-of-the-art methods in downstream tasks, with observed improvements of up to 101%. Furthermore, we provide qualitative and quantitative measurements of the features learned by these models and how they differ from baselines. TriDeNT offers a novel method to distil knowledge from scarce or costly data during training, to create significantly better models for routine inputs.
• Abstract（参考訳）: 計算病理モデルは推論に利用できないデータを活用することは滅多にない。 これは、ほとんどのモデルは、追加の免疫組織化学的(IHC)染色や空間転写学のような非常に情報性の高いデータから学べないことを意味する。 提案するTriDeNTは,推論中に利用できない特権データを利用した,パフォーマンス向上のための自己教師型手法である。 本手法は,免疫組織化学,空間転写学,専門的核アノテーションなど多種多様な対データに対して有効性を示す。 あらゆる設定において、TriDeNTはダウンストリームタスクにおける他の最先端メソッドよりも優れており、最大101%の改善が観察されている。 さらに,これらのモデルから得られた特徴の質的,定量的な測定と,それらがベースラインとどのように異なるかを示す。 TriDeNTは、トレーニング中に少ないデータや高価なデータから知識を排除し、ルーチン入力のためのはるかに優れたモデルを作成する新しい方法を提供する。

関連論文リスト

• A Novel Hybrid Parameter-Efficient Fine-Tuning Approach for Hippocampus Segmentation and Alzheimer's Disease Diagnosis [12.775565417928895]
  本稿では,ハイブリッド並列およびシリアルアーキテクチャを用いたHyPSと呼ばれる,パラメータ効率の高いファインチューニング手法を提案する。 HyPSはモデルパラメータの最小限のサブセットを更新し、事前訓練されたモデルの元の知識トラクチャを保持する。 アルツハイマー病を認知正常(CN)個体と区別することで、HyPSはそれぞれ83.78%と64.29%の分類精度を達成した。
  論文  参考訳（メタデータ） (2024-09-02T00:52:00Z)
• Distilling Privileged Multimodal Information for Expression Recognition using Optimal Transport [46.91791643660991]
  マルチモーダル表現認識のための深層学習モデルは, 制御された実験室環境において顕著な性能を示した。 これらのモデルは、トレーニングに使用されるモダリティの可用性と品質のために、荒野で苦労する。 実際には、テスト時に利用できるのはトレーニング時モダリティのサブセットのみである。 特権情報による学習により、モデルはトレーニング中にのみ利用できる追加のモダリティからデータを利用することができる。
  論文  参考訳（メタデータ） (2024-01-27T19:44:15Z)
• Which Augmentation Should I Use? An Empirical Investigation of Augmentations for Self-Supervised Phonocardiogram Representation Learning [5.438725298163702]
  Contrastive Self-Supervised Learning (SSL)はラベル付きデータの不足に対する潜在的な解決策を提供する。 1次元心電図(PCG)分類におけるコントラスト学習の最適化を提案する。 トレーニング分布によっては、完全教師付きモデルの有効性が最大32%低下し、SSLモデルは最大10%低下し、場合によっては改善される。
  論文  参考訳（メタデータ） (2023-12-01T11:06:00Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• An Active Learning Method for Diabetic Retinopathy Classification with Uncertainty Quantification [3.7220380160016626]
  不確実性定量のためのハイブリッドモデルと、不一致データを注釈付けするためのアクティブラーニングアプローチを提案する。 糖尿病網膜症分類の枠組みについて検討し,様々な指標で最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2020-12-24T16:59:15Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• A Systematic Approach to Featurization for Cancer Drug Sensitivity Predictions with Deep Learning [49.86828302591469]
  35,000以上のニューラルネットワークモデルをトレーニングし、一般的な成果化技術を駆使しています。 RNA-seqは128以上のサブセットであっても非常に冗長で情報的であることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T20:42:17Z)
• Confident Coreset for Active Learning in Medical Image Analysis [57.436224561482966]
  本稿では,情報的サンプルを効果的に選択するための,不確実性と分散性を考慮した新しい能動的学習手法である信頼コアセットを提案する。 2つの医用画像解析タスクの比較実験により,本手法が他の活動的学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-05T13:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。