論文の概要: Federated Foundation Model for Cardiac CT Imaging

• arxiv url: http://arxiv.org/abs/2407.07557v1
• Date: Wed, 10 Jul 2024 11:30:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 17:01:49.087856
• Title: Federated Foundation Model for Cardiac CT Imaging
• Title（参考訳）: 心臓CT画像のフェデレーションモデル
• Authors: Malte Tölle, Philipp Garthe, Clemens Scherer, Jan Moritz Seliger, Andreas Leha, Nina Krüger, Stefan Simm, Simon Martin, Sebastian Eble, Halvar Kelm, Moritz Bednorz, Florian André, Peter Bannas, Gerhard Diller, Norbert Frey, Stefan Groß, Anja Hennemuth, Lars Kaderali, Alexander Meyer, Eike Nagel, Stefan Orwat, Moritz Seiffert, Tim Friede, Tim Seidler, Sandy Engelhardt,
• Abstract要約: これまでで最も大きな心エコー画像解析を行い、部分的にラベル付けされたデータセットに焦点をあてた。 タスク固有のCNNからの知識を1つのトランスフォーマーモデルに抽出する2段階の半教師付き学習戦略を開発した。
• 参考スコア（独自算出の注目度）: 25.98149779380328
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning (FL) is a renowned technique for utilizing decentralized data while preserving privacy. However, real-world applications often involve inherent challenges such as partially labeled datasets, where not all clients possess expert annotations of all labels of interest, leaving large portions of unlabeled data unused. In this study, we conduct the largest federated cardiac CT imaging analysis to date, focusing on partially labeled datasets ($n=8,124$) of Transcatheter Aortic Valve Implantation (TAVI) patients over eight hospital clients. Transformer architectures, which are the major building blocks of current foundation models, have shown superior performance when trained on larger cohorts than traditional CNNs. However, when trained on small task-specific labeled sample sizes, it is currently not feasible to exploit their underlying attention mechanism for improved performance. Therefore, we developed a two-stage semi-supervised learning strategy that distills knowledge from several task-specific CNNs (landmark detection and segmentation of calcification) into a single transformer model by utilizing large amounts of unlabeled data typically residing unused in hospitals to mitigate these issues. This method not only improves the predictive accuracy and generalizability of transformer-based architectures but also facilitates the simultaneous learning of all partial labels within a single transformer model across the federation. Additionally, we show that our transformer-based model extracts more meaningful features for further downstream tasks than the UNet-based one by only training the last layer to also solve segmentation of coronary arteries. We make the code and weights of the final model openly available, which can serve as a foundation model for further research in cardiac CT imaging.
• Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシを保ちながら分散データを活用するための有名なテクニックである。 しかし、現実世界のアプリケーションは、部分的にラベル付けされたデータセットのような固有の課題を伴い、すべてのクライアントが関心のあるラベルのエキスパートアノテーションを持っているわけではない。 本研究は, 経カテーテル大動脈弁挿入術 (TAVI) 患者8名を対象に, これまでに最大規模の心エコー画像解析を行い, 部分的にラベル付けしたデータセット (n=8,124ドル) について検討した。 現在の基盤モデルの主要なビルディングブロックであるトランスフォーマーアーキテクチャは、従来のCNNよりも大規模なコホートでトレーニングされた場合、優れたパフォーマンスを示している。 しかし、小さなタスク固有のラベル付きサンプルサイズでトレーニングすると、その基盤となるアテンションメカニズムを利用してパフォーマンスを向上させることは、現時点では不可能である。 そこで我々は,複数のタスク固有のCNN(ランドマーク検出と石灰化のセグメンテーション)からの知識を単一トランスフォーマモデルに抽出する2段階の半教師付き学習戦略を開発した。 この手法はトランスアーキテクチャの予測精度と一般化性を向上するだけでなく、フェデレーション全体にわたって単一のトランスモデル内の全ての部分ラベルの同時学習を促進する。 さらに,我々のトランスフォーマーモデルでは,最後の層のみをトレーニングし,冠状動脈のセグメンテーションを解くことで,UNetベースよりも下流タスクに有意義な特徴を抽出できることが示されている。 我々は最終モデルのコードと重みを公開し、心臓CT画像のさらなる研究のための基礎モデルとして役立てることができる。

関連論文リスト

• CNN-Transformer Rectified Collaborative Learning for Medical Image Segmentation [60.08541107831459]
  本稿では,医用画像セグメンテーションのための強力なCNNベースモデルとトランスフォーマーベースモデルを学習するための,CNN-Transformer修正協調学習フレームワークを提案する。 具体的には,学生ソフトラベルの誤り領域を適応的に選択・修正する基礎的真理を取り入れた修正ロジット・ワイド・コラボレーティブ・ラーニング(RLCL)戦略を提案する。 また,機能空間におけるCNNベースモデルとTransformerベースモデル間の効果的な知識伝達を実現するために,クラス認識型特徴量協調学習(CFCL)戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-25T01:27:35Z)
• FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients [19.3885479917635]
  Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。 本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。 提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
  論文  参考訳（メタデータ） (2024-02-15T18:48:21Z)
• Capturing Local and Global Features in Medical Images by Using Ensemble CNN-Transformer [0.0]
  本稿では,医療画像解析のための制御可能アンサンブル変換器とCNN (CNN) という分類モデルを提案する。 CETCモデルは、畳み込みニューラルネットワーク(CNN)とトランスフォーマーの強力な能力を組み合わせて、局所的特徴とグローバル的特徴の両方を効果的に捉える。 注目すべきは、このモデルは様々な評価指標で既存の最先端モデルを上回っていることだ。
  論文  参考訳（メタデータ） (2023-11-03T05:55:28Z)
• Rethinking Pre-Training in Tabular Data: A Neighborhood Embedding Perspective [71.45945607871715]
  メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。 中心となる考え方は、データインスタンスを共有機能空間に埋め込むことで、各インスタンスは、近隣の固定数とそのラベルまでの距離で表現される。 101データセットの大規模な実験は、微調整の有無にかかわらず、分類タスクと回帰タスクの両方においてTabPTMの有効性を確認した。
  論文  参考訳（メタデータ） (2023-10-31T18:03:54Z)
• Focused Decoding Enables 3D Anatomical Detection by Transformers [64.36530874341666]
  集束デコーダと呼ばれる3次元解剖学的構造検出のための新しい検出変換器を提案する。 Focused Decoderは、解剖学的領域のアトラスからの情報を活用して、クエリアンカーを同時にデプロイし、クロスアテンションの視野を制限する。 提案手法を利用可能な2つのCTデータセットに対して評価し、フォーカスドデコーダが強力な検出結果を提供するだけでなく、大量の注釈付きデータの必要性を軽減し、注意重みによる結果の例外的で直感的な説明性を示すことを示した。
  論文  参考訳（メタデータ） (2022-07-21T22:17:21Z)
• Weakly Supervised Change Detection Using Guided Anisotropic Difusion [97.43170678509478]
  我々は、このようなデータセットを変更検出の文脈で活用するのに役立つ独自のアイデアを提案する。 まず,意味的セグメンテーション結果を改善する誘導異方性拡散(GAD)アルゴリズムを提案する。 次に、変化検出に適した2つの弱い教師付き学習戦略の可能性を示す。
  論文  参考訳（メタデータ） (2021-12-31T10:03:47Z)
• Transformer-based Spatial-Temporal Feature Learning for EEG Decoding [4.8276709243429]
  本稿では,主に注意機構に依存する新しい脳波復号法を提案する。 我々はより少ないパラメータで、脳波の多分類化における最先端のレベルに達しました。 脳-コンピュータインタフェース(BCI)の実用性を促進する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2021-06-11T00:48:18Z)
• TELESTO: A Graph Neural Network Model for Anomaly Classification in Cloud Services [77.454688257702]
  機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。 1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。 与えられたデータの次元変化に不変な手法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:24:49Z)
• 3D medical image segmentation with labeled and unlabeled data using autoencoders at the example of liver segmentation in CT images [58.720142291102135]
  本研究では、畳み込みニューラルネットワークによるセグメンテーションを改善するために、オートエンコーダ抽出機能の可能性を検討する。 コンボリューション・オートエンコーダを用いてラベルのないデータから特徴を抽出し,CT画像における3次元肝セグメンテーションの目標タスクを実行するために,マルチスケールの完全畳み込みCNNを用いた。
  論文  参考訳（メタデータ） (2020-03-17T20:20:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。