論文の概要: Real World Federated Learning with a Knowledge Distilled Transformer for Cardiac CT Imaging

• arxiv url: http://arxiv.org/abs/2407.07557v2
• Date: Thu, 02 Jan 2025 13:22:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-03 14:33:31.968773
• Title: Real World Federated Learning with a Knowledge Distilled Transformer for Cardiac CT Imaging
• Title（参考訳）: 心エコー画像用知識希釈変換器を用いた実世界フェデレーション学習
• Authors: Malte Tölle, Philipp Garthe, Clemens Scherer, Jan Moritz Seliger, Andreas Leha, Nina Krüger, Stefan Simm, Simon Martin, Sebastian Eble, Halvar Kelm, Moritz Bednorz, Florian André, Peter Bannas, Gerhard Diller, Norbert Frey, Stefan Groß, Anja Hennemuth, Lars Kaderali, Alexander Meyer, Eike Nagel, Stefan Orwat, Moritz Seiffert, Tim Friede, Tim Seidler, Sandy Engelhardt,
• Abstract要約: 今回,8つの病院にまたがる実環境において,これまでで最大の心電図解析を行った。 我々の2段階の半教師戦略は、タスク固有のCNNからの知識をトランスフォーマーに抽出する。 これにより予測精度が向上し、フェデレーション全体にわたる全ての部分ラベルの同時学習が可能になる。
• 参考スコア（独自算出の注目度）: 25.98149779380328
• License:
• Abstract: Federated learning is a renowned technique for utilizing decentralized data while preserving privacy. However, real-world applications often face challenges like partially labeled datasets, where only a few locations have certain expert annotations, leaving large portions of unlabeled data unused. Leveraging these could enhance transformer architectures ability in regimes with small and diversely annotated sets. We conduct the largest federated cardiac CT analysis to date (n=8,104) in a real-world setting across eight hospitals. Our two-step semi-supervised strategy distills knowledge from task-specific CNNs into a transformer. First, CNNs predict on unlabeled data per label type and then the transformer learns from these predictions with label-specific heads. This improves predictive accuracy and enables simultaneous learning of all partial labels across the federation, and outperforms UNet-based models in generalizability on downstream tasks. Code and model weights are made openly available for leveraging future cardiac CT analysis.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、プライバシを維持しながら分散データを活用するための有名なテクニックである。 しかし、現実のアプリケーションは、部分的にラベル付けされたデータセットのような課題に直面することが多い。 これらを活用することで、小さな多彩な注釈セットを持つレギュレータにおけるトランスフォーマーアーキテクチャの能力を高めることができる。 今回,8つの病院にまたがる実環境において,これまでで最大の心電図解析(n=8,104)を行った。 我々の2段階の半教師戦略は、タスク固有のCNNからの知識をトランスフォーマーに抽出する。 まず、CNNはラベルタイプ毎にラベル付きデータを予測し、その後、ラベル固有のヘッドでこれらの予測から学習する。 これにより予測精度が向上し、フェデレーション全体にわたる全ての部分ラベルの同時学習が可能となり、下流タスクにおける一般化可能性においてUNetベースのモデルよりも優れる。 コードとモデルウェイトは、将来の心臓CT解析の活用のために公開されている。

関連論文リスト

• Deep models for stroke segmentation: do complex architectures always perform better? [1.4651272514940197]
  ストロークセグメンテーションは脳卒中患者の診断と治療において重要な役割を担っている。 一般的な医用画像分割のためのディープモデルが導入された。 本研究では,最近提案された4種類の深部モデルを選択し,脳卒中セグメンテーションの性能評価を行った。
  論文  参考訳（メタデータ） (2024-03-25T20:44:01Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• Data-Efficient Vision Transformers for Multi-Label Disease Classification on Chest Radiographs [55.78588835407174]
  視覚変換器(ViT)は一般的な画像の分類性能が高いにもかかわらず、このタスクには適用されていない。 ViTは、畳み込みではなくパッチベースの自己アテンションに依存しており、CNNとは対照的に、ローカル接続に関する事前の知識は存在しない。 以上の結果から,ViTとCNNのパフォーマンスはViTの利点に匹敵するものの,DeiTsはトレーニング用に適度に大規模なデータセットが利用可能であれば,前者よりも優れることがわかった。
  論文  参考訳（メタデータ） (2022-08-17T09:07:45Z)
• Preservation of High Frequency Content for Deep Learning-Based Medical Image Classification [74.84221280249876]
  大量の胸部ラジオグラフィーの効率的な分析は、医師や放射線技師を助けることができる。 本稿では,視覚情報の効率的な識別と符号化のための離散ウェーブレット変換(DWT)を提案する。
  論文  参考訳（メタデータ） (2022-05-08T15:29:54Z)
• Rapid model transfer for medical image segmentation via iterative human-in-the-loop update: from labelled public to unlabelled clinical datasets for multi-organ segmentation in CT [22.411929051477912]
  本稿では,大規模ラベル付きデータセットからCTにおけるマルチ組織セグメント化のための大規模アンラベリングデータセットへのセグメンテーションモデルを効率的に転送するための,新規で汎用的なヒューマン・イン・ザ・ループ方式を提案する。 以上の結果から,本手法はDiceで19.7%向上するだけでなく, モデル移行時の手指ラベリングのコストを1CTあたり13.87分から1.51分に短縮し, 有望な電位で臨床的有用性を示した。
  論文  参考訳（メタデータ） (2022-04-13T08:22:42Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)
• TELESTO: A Graph Neural Network Model for Anomaly Classification in Cloud Services [77.454688257702]
  機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。 1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。 与えられたデータの次元変化に不変な手法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:24:49Z)
• "Name that manufacturer". Relating image acquisition bias with task complexity when training deep learning models: experiments on head CT [0.0]
  我々は、データセットにおけるスキャナーメーカーの分布がディープラーニングモデルの全体的なバイアスにどのように貢献するかを分析する。 我々は、CNNが画像スキャナーメーカーを識別し、このバイアスがモデルの性能に大きな影響を与えることを実証した。
  論文  参考訳（メタデータ） (2020-08-19T16:05:58Z)
• Cross-Domain Segmentation with Adversarial Loss and Covariate Shift for Biomedical Imaging [2.1204495827342438]
  本論文は,異なるモダリティから異なるパターンと共有パターンをカプセル化することにより,ドメイン間データから堅牢な表現を学習できる新しいモデルの実現を目的とする。 正常な臨床試験で得られたCTおよびMRI肝データに対する試験は、提案したモデルが他のすべてのベースラインを大きなマージンで上回っていることを示している。
  論文  参考訳（メタデータ） (2020-06-08T07:35:55Z)
• 3D medical image segmentation with labeled and unlabeled data using autoencoders at the example of liver segmentation in CT images [58.720142291102135]
  本研究では、畳み込みニューラルネットワークによるセグメンテーションを改善するために、オートエンコーダ抽出機能の可能性を検討する。 コンボリューション・オートエンコーダを用いてラベルのないデータから特徴を抽出し,CT画像における3次元肝セグメンテーションの目標タスクを実行するために,マルチスケールの完全畳み込みCNNを用いた。
  論文  参考訳（メタデータ） (2020-03-17T20:20:43Z)
• Synthetic vascular structure generation for unsupervised pre-training in CTA segmentation tasks [0.0]
  我々は脳卒中患者の治療における洞察を提供するために,血管セグメンテーションタスクでU-netアーキテクチャを訓練する。 そこで我々は,頭部のCTスキャンにブレンド可能な人工血管構造を生成する計算モデルを構築した。
  論文  参考訳（メタデータ） (2020-01-02T23:21:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。