論文の概要: Real World Federated Learning with a Knowledge Distilled Transformer for Cardiac CT Imaging

• arxiv url: http://arxiv.org/abs/2407.07557v2
• Date: Thu, 02 Jan 2025 13:22:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-03 14:33:31.968773
• Title: Real World Federated Learning with a Knowledge Distilled Transformer for Cardiac CT Imaging
• Title（参考訳）: 心エコー画像用知識希釈変換器を用いた実世界フェデレーション学習
• Authors: Malte Tölle, Philipp Garthe, Clemens Scherer, Jan Moritz Seliger, Andreas Leha, Nina Krüger, Stefan Simm, Simon Martin, Sebastian Eble, Halvar Kelm, Moritz Bednorz, Florian André, Peter Bannas, Gerhard Diller, Norbert Frey, Stefan Groß, Anja Hennemuth, Lars Kaderali, Alexander Meyer, Eike Nagel, Stefan Orwat, Moritz Seiffert, Tim Friede, Tim Seidler, Sandy Engelhardt,
• Abstract要約: 今回,8つの病院にまたがる実環境において,これまでで最大の心電図解析を行った。 我々の2段階の半教師戦略は、タスク固有のCNNからの知識をトランスフォーマーに抽出する。 これにより予測精度が向上し、フェデレーション全体にわたる全ての部分ラベルの同時学習が可能になる。
• 参考スコア（独自算出の注目度）: 25.98149779380328
• License:
• Abstract: Federated learning is a renowned technique for utilizing decentralized data while preserving privacy. However, real-world applications often face challenges like partially labeled datasets, where only a few locations have certain expert annotations, leaving large portions of unlabeled data unused. Leveraging these could enhance transformer architectures ability in regimes with small and diversely annotated sets. We conduct the largest federated cardiac CT analysis to date (n=8,104) in a real-world setting across eight hospitals. Our two-step semi-supervised strategy distills knowledge from task-specific CNNs into a transformer. First, CNNs predict on unlabeled data per label type and then the transformer learns from these predictions with label-specific heads. This improves predictive accuracy and enables simultaneous learning of all partial labels across the federation, and outperforms UNet-based models in generalizability on downstream tasks. Code and model weights are made openly available for leveraging future cardiac CT analysis.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、プライバシを維持しながら分散データを活用するための有名なテクニックである。 しかし、現実のアプリケーションは、部分的にラベル付けされたデータセットのような課題に直面することが多い。 これらを活用することで、小さな多彩な注釈セットを持つレギュレータにおけるトランスフォーマーアーキテクチャの能力を高めることができる。 今回,8つの病院にまたがる実環境において,これまでで最大の心電図解析(n=8,104)を行った。 我々の2段階の半教師戦略は、タスク固有のCNNからの知識をトランスフォーマーに抽出する。 まず、CNNはラベルタイプ毎にラベル付きデータを予測し、その後、ラベル固有のヘッドでこれらの予測から学習する。 これにより予測精度が向上し、フェデレーション全体にわたる全ての部分ラベルの同時学習が可能となり、下流タスクにおける一般化可能性においてUNetベースのモデルよりも優れる。 コードとモデルウェイトは、将来の心臓CT解析の活用のために公開されている。

関連論文リスト

• CNN-Transformer Rectified Collaborative Learning for Medical Image Segmentation [60.08541107831459]
  本稿では,医用画像セグメンテーションのための強力なCNNベースモデルとトランスフォーマーベースモデルを学習するための,CNN-Transformer修正協調学習フレームワークを提案する。 具体的には,学生ソフトラベルの誤り領域を適応的に選択・修正する基礎的真理を取り入れた修正ロジット・ワイド・コラボレーティブ・ラーニング(RLCL)戦略を提案する。 また,機能空間におけるCNNベースモデルとTransformerベースモデル間の効果的な知識伝達を実現するために,クラス認識型特徴量協調学習(CFCL)戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-25T01:27:35Z)
• FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients [19.3885479917635]
  Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。 本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。 提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
  論文  参考訳（メタデータ） (2024-02-15T18:48:21Z)
• Capturing Local and Global Features in Medical Images by Using Ensemble CNN-Transformer [0.0]
  本稿では,医療画像解析のための制御可能アンサンブル変換器とCNN (CNN) という分類モデルを提案する。 CETCモデルは、畳み込みニューラルネットワーク(CNN)とトランスフォーマーの強力な能力を組み合わせて、局所的特徴とグローバル的特徴の両方を効果的に捉える。 注目すべきは、このモデルは様々な評価指標で既存の最先端モデルを上回っていることだ。
  論文  参考訳（メタデータ） (2023-11-03T05:55:28Z)
• Rethinking Pre-Training in Tabular Data: A Neighborhood Embedding Perspective [71.45945607871715]
  メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。 中心となる考え方は、データインスタンスを共有機能空間に埋め込むことで、各インスタンスは、近隣の固定数とそのラベルまでの距離で表現される。 101データセットの大規模な実験は、微調整の有無にかかわらず、分類タスクと回帰タスクの両方においてTabPTMの有効性を確認した。
  論文  参考訳（メタデータ） (2023-10-31T18:03:54Z)
• Focused Decoding Enables 3D Anatomical Detection by Transformers [64.36530874341666]
  集束デコーダと呼ばれる3次元解剖学的構造検出のための新しい検出変換器を提案する。 Focused Decoderは、解剖学的領域のアトラスからの情報を活用して、クエリアンカーを同時にデプロイし、クロスアテンションの視野を制限する。 提案手法を利用可能な2つのCTデータセットに対して評価し、フォーカスドデコーダが強力な検出結果を提供するだけでなく、大量の注釈付きデータの必要性を軽減し、注意重みによる結果の例外的で直感的な説明性を示すことを示した。
  論文  参考訳（メタデータ） (2022-07-21T22:17:21Z)
• Weakly Supervised Change Detection Using Guided Anisotropic Difusion [97.43170678509478]
  我々は、このようなデータセットを変更検出の文脈で活用するのに役立つ独自のアイデアを提案する。 まず,意味的セグメンテーション結果を改善する誘導異方性拡散(GAD)アルゴリズムを提案する。 次に、変化検出に適した2つの弱い教師付き学習戦略の可能性を示す。
  論文  参考訳（メタデータ） (2021-12-31T10:03:47Z)
• Transformer-based Spatial-Temporal Feature Learning for EEG Decoding [4.8276709243429]
  本稿では,主に注意機構に依存する新しい脳波復号法を提案する。 我々はより少ないパラメータで、脳波の多分類化における最先端のレベルに達しました。 脳-コンピュータインタフェース(BCI)の実用性を促進する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2021-06-11T00:48:18Z)
• TELESTO: A Graph Neural Network Model for Anomaly Classification in Cloud Services [77.454688257702]
  機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。 1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。 与えられたデータの次元変化に不変な手法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:24:49Z)
• 3D medical image segmentation with labeled and unlabeled data using autoencoders at the example of liver segmentation in CT images [58.720142291102135]
  本研究では、畳み込みニューラルネットワークによるセグメンテーションを改善するために、オートエンコーダ抽出機能の可能性を検討する。 コンボリューション・オートエンコーダを用いてラベルのないデータから特徴を抽出し,CT画像における3次元肝セグメンテーションの目標タスクを実行するために,マルチスケールの完全畳み込みCNNを用いた。
  論文  参考訳（メタデータ） (2020-03-17T20:20:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。