論文の概要: Real World Federated Learning with a Knowledge Distilled Transformer for Cardiac CT Imaging

• arxiv url: http://arxiv.org/abs/2407.07557v2
• Date: Thu, 02 Jan 2025 13:22:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-03 22:24:07.776855
• Title: Real World Federated Learning with a Knowledge Distilled Transformer for Cardiac CT Imaging
• Title（参考訳）: 心エコー画像用知識希釈変換器を用いた実世界フェデレーション学習
• Authors: Malte Tölle, Philipp Garthe, Clemens Scherer, Jan Moritz Seliger, Andreas Leha, Nina Krüger, Stefan Simm, Simon Martin, Sebastian Eble, Halvar Kelm, Moritz Bednorz, Florian André, Peter Bannas, Gerhard Diller, Norbert Frey, Stefan Groß, Anja Hennemuth, Lars Kaderali, Alexander Meyer, Eike Nagel, Stefan Orwat, Moritz Seiffert, Tim Friede, Tim Seidler, Sandy Engelhardt,
• Abstract要約: 今回,8つの病院にまたがる実環境において,これまでで最大の心電図解析を行った。 我々の2段階の半教師戦略は、タスク固有のCNNからの知識をトランスフォーマーに抽出する。 これにより予測精度が向上し、フェデレーション全体にわたる全ての部分ラベルの同時学習が可能になる。
• 参考スコア（独自算出の注目度）: 25.98149779380328
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning is a renowned technique for utilizing decentralized data while preserving privacy. However, real-world applications often face challenges like partially labeled datasets, where only a few locations have certain expert annotations, leaving large portions of unlabeled data unused. Leveraging these could enhance transformer architectures ability in regimes with small and diversely annotated sets. We conduct the largest federated cardiac CT analysis to date (n=8,104) in a real-world setting across eight hospitals. Our two-step semi-supervised strategy distills knowledge from task-specific CNNs into a transformer. First, CNNs predict on unlabeled data per label type and then the transformer learns from these predictions with label-specific heads. This improves predictive accuracy and enables simultaneous learning of all partial labels across the federation, and outperforms UNet-based models in generalizability on downstream tasks. Code and model weights are made openly available for leveraging future cardiac CT analysis.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、プライバシを維持しながら分散データを活用するための有名なテクニックである。 しかし、現実のアプリケーションは、部分的にラベル付けされたデータセットのような課題に直面することが多い。 これらを活用することで、小さな多彩な注釈セットを持つレギュレータにおけるトランスフォーマーアーキテクチャの能力を高めることができる。 今回,8つの病院にまたがる実環境において,これまでで最大の心電図解析(n=8,104)を行った。 我々の2段階の半教師戦略は、タスク固有のCNNからの知識をトランスフォーマーに抽出する。 まず、CNNはラベルタイプ毎にラベル付きデータを予測し、その後、ラベル固有のヘッドでこれらの予測から学習する。 これにより予測精度が向上し、フェデレーション全体にわたる全ての部分ラベルの同時学習が可能となり、下流タスクにおける一般化可能性においてUNetベースのモデルよりも優れる。 コードとモデルウェイトは、将来の心臓CT解析の活用のために公開されている。

関連論文リスト

• CNN-Transformer Rectified Collaborative Learning for Medical Image Segmentation [60.08541107831459]
  本稿では,医用画像セグメンテーションのための強力なCNNベースモデルとトランスフォーマーベースモデルを学習するための,CNN-Transformer修正協調学習フレームワークを提案する。 具体的には,学生ソフトラベルの誤り領域を適応的に選択・修正する基礎的真理を取り入れた修正ロジット・ワイド・コラボレーティブ・ラーニング(RLCL)戦略を提案する。 また,機能空間におけるCNNベースモデルとTransformerベースモデル間の効果的な知識伝達を実現するために,クラス認識型特徴量協調学習(CFCL)戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-25T01:27:35Z)
• Deep models for stroke segmentation: do complex architectures always perform better? [1.4651272514940197]
  ストロークセグメンテーションは脳卒中患者の診断と治療において重要な役割を担っている。 一般的な医用画像分割のためのディープモデルが導入された。 本研究では,最近提案された4種類の深部モデルを選択し,脳卒中セグメンテーションの性能評価を行った。
  論文  参考訳（メタデータ） (2024-03-25T20:44:01Z)
• FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients [19.3885479917635]
  Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。 本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。 提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
  論文  参考訳（メタデータ） (2024-02-15T18:48:21Z)
• Capturing Local and Global Features in Medical Images by Using Ensemble CNN-Transformer [0.0]
  本稿では,医療画像解析のための制御可能アンサンブル変換器とCNN (CNN) という分類モデルを提案する。 CETCモデルは、畳み込みニューラルネットワーク(CNN)とトランスフォーマーの強力な能力を組み合わせて、局所的特徴とグローバル的特徴の両方を効果的に捉える。 注目すべきは、このモデルは様々な評価指標で既存の最先端モデルを上回っていることだ。
  論文  参考訳（メタデータ） (2023-11-03T05:55:28Z)
• Rethinking Pre-Training in Tabular Data: A Neighborhood Embedding Perspective [71.45945607871715]
  メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。 中心となる考え方は、データインスタンスを共有機能空間に埋め込むことで、各インスタンスは、近隣の固定数とそのラベルまでの距離で表現される。 101データセットの大規模な実験は、微調整の有無にかかわらず、分類タスクと回帰タスクの両方においてTabPTMの有効性を確認した。
  論文  参考訳（メタデータ） (2023-10-31T18:03:54Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• Data-Efficient Vision Transformers for Multi-Label Disease Classification on Chest Radiographs [55.78588835407174]
  視覚変換器(ViT)は一般的な画像の分類性能が高いにもかかわらず、このタスクには適用されていない。 ViTは、畳み込みではなくパッチベースの自己アテンションに依存しており、CNNとは対照的に、ローカル接続に関する事前の知識は存在しない。 以上の結果から,ViTとCNNのパフォーマンスはViTの利点に匹敵するものの,DeiTsはトレーニング用に適度に大規模なデータセットが利用可能であれば,前者よりも優れることがわかった。
  論文  参考訳（メタデータ） (2022-08-17T09:07:45Z)
• Focused Decoding Enables 3D Anatomical Detection by Transformers [64.36530874341666]
  集束デコーダと呼ばれる3次元解剖学的構造検出のための新しい検出変換器を提案する。 Focused Decoderは、解剖学的領域のアトラスからの情報を活用して、クエリアンカーを同時にデプロイし、クロスアテンションの視野を制限する。 提案手法を利用可能な2つのCTデータセットに対して評価し、フォーカスドデコーダが強力な検出結果を提供するだけでなく、大量の注釈付きデータの必要性を軽減し、注意重みによる結果の例外的で直感的な説明性を示すことを示した。
  論文  参考訳（メタデータ） (2022-07-21T22:17:21Z)
• Preservation of High Frequency Content for Deep Learning-Based Medical Image Classification [74.84221280249876]
  大量の胸部ラジオグラフィーの効率的な分析は、医師や放射線技師を助けることができる。 本稿では,視覚情報の効率的な識別と符号化のための離散ウェーブレット変換(DWT)を提案する。
  論文  参考訳（メタデータ） (2022-05-08T15:29:54Z)
• Rapid model transfer for medical image segmentation via iterative human-in-the-loop update: from labelled public to unlabelled clinical datasets for multi-organ segmentation in CT [22.411929051477912]
  本稿では,大規模ラベル付きデータセットからCTにおけるマルチ組織セグメント化のための大規模アンラベリングデータセットへのセグメンテーションモデルを効率的に転送するための,新規で汎用的なヒューマン・イン・ザ・ループ方式を提案する。 以上の結果から,本手法はDiceで19.7%向上するだけでなく, モデル移行時の手指ラベリングのコストを1CTあたり13.87分から1.51分に短縮し, 有望な電位で臨床的有用性を示した。
  論文  参考訳（メタデータ） (2022-04-13T08:22:42Z)
• Weakly Supervised Change Detection Using Guided Anisotropic Difusion [97.43170678509478]
  我々は、このようなデータセットを変更検出の文脈で活用するのに役立つ独自のアイデアを提案する。 まず,意味的セグメンテーション結果を改善する誘導異方性拡散(GAD)アルゴリズムを提案する。 次に、変化検出に適した2つの弱い教師付き学習戦略の可能性を示す。
  論文  参考訳（メタデータ） (2021-12-31T10:03:47Z)
• Transformer-based Spatial-Temporal Feature Learning for EEG Decoding [4.8276709243429]
  本稿では,主に注意機構に依存する新しい脳波復号法を提案する。 我々はより少ないパラメータで、脳波の多分類化における最先端のレベルに達しました。 脳-コンピュータインタフェース(BCI)の実用性を促進する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2021-06-11T00:48:18Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)
• TELESTO: A Graph Neural Network Model for Anomaly Classification in Cloud Services [77.454688257702]
  機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。 1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。 与えられたデータの次元変化に不変な手法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:24:49Z)
• "Name that manufacturer". Relating image acquisition bias with task complexity when training deep learning models: experiments on head CT [0.0]
  我々は、データセットにおけるスキャナーメーカーの分布がディープラーニングモデルの全体的なバイアスにどのように貢献するかを分析する。 我々は、CNNが画像スキャナーメーカーを識別し、このバイアスがモデルの性能に大きな影響を与えることを実証した。
  論文  参考訳（メタデータ） (2020-08-19T16:05:58Z)
• Cross-Domain Segmentation with Adversarial Loss and Covariate Shift for Biomedical Imaging [2.1204495827342438]
  本論文は,異なるモダリティから異なるパターンと共有パターンをカプセル化することにより,ドメイン間データから堅牢な表現を学習できる新しいモデルの実現を目的とする。 正常な臨床試験で得られたCTおよびMRI肝データに対する試験は、提案したモデルが他のすべてのベースラインを大きなマージンで上回っていることを示している。
  論文  参考訳（メタデータ） (2020-06-08T07:35:55Z)
• 3D medical image segmentation with labeled and unlabeled data using autoencoders at the example of liver segmentation in CT images [58.720142291102135]
  本研究では、畳み込みニューラルネットワークによるセグメンテーションを改善するために、オートエンコーダ抽出機能の可能性を検討する。 コンボリューション・オートエンコーダを用いてラベルのないデータから特徴を抽出し,CT画像における3次元肝セグメンテーションの目標タスクを実行するために,マルチスケールの完全畳み込みCNNを用いた。
  論文  参考訳（メタデータ） (2020-03-17T20:20:43Z)
• Synthetic vascular structure generation for unsupervised pre-training in CTA segmentation tasks [0.0]
  我々は脳卒中患者の治療における洞察を提供するために,血管セグメンテーションタスクでU-netアーキテクチャを訓練する。 そこで我々は,頭部のCTスキャンにブレンド可能な人工血管構造を生成する計算モデルを構築した。
  論文  参考訳（メタデータ） (2020-01-02T23:21:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。