Fugu-MT 論文翻訳(概要): Federated EndoViT: Pretraining Vision Transformers via Federated Learning on Endoscopic Image Collections

論文の概要: Federated EndoViT: Pretraining Vision Transformers via Federated Learning on Endoscopic Image Collections

arxiv url: http://arxiv.org/abs/2504.16612v1
Date: Wed, 23 Apr 2025 10:54:32 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 16:52:21.473262
Title: Federated EndoViT: Pretraining Vision Transformers via Federated Learning on Endoscopic Image Collections
Title（参考訳）: Federated EndoViT: 内視鏡画像コレクションにおけるフェデレーション学習によるビジョントランスフォーマーの事前学習
Authors: Max Kirchner, Alexander C. Jenke, Sebastian Bodenstedt, Fiona R. Kolbinger, Oliver Saldanha, Jakob N. Kather, Martin Wagner, Stefanie Speidel,
Abstract要約: We adapt the Masked Autoencoder for Federated Learning, enhance Sharpness-Aware Minimization (FedSAM) and Weight Averaging。以上の結果から,FedSAMをFederated MAEアプローチに統合することにより,プレトレーニングが向上し,パッチ1本あたりの再建損失が減少することが示唆された。これらの結果は,外科基礎モデルのプライバシ保護トレーニングにおけるフェデレーション学習の可能性を強調した。
参考スコア（独自算出の注目度）: 35.585690280385826
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Purpose: In this study, we investigate the training of foundation models using federated learning to address data-sharing limitations and enable collaborative model training without data transfer for minimally invasive surgery. Methods: Inspired by the EndoViT study, we adapt the Masked Autoencoder for federated learning, enhancing it with adaptive Sharpness-Aware Minimization (FedSAM) and Stochastic Weight Averaging (SWA). Our model is pretrained on the Endo700k dataset collection and later fine-tuned and evaluated for tasks such as Semantic Segmentation, Action Triplet Recognition, and Surgical Phase Recognition. Results: Our findings demonstrate that integrating adaptive FedSAM into the federated MAE approach improves pretraining, leading to a reduction in reconstruction loss per patch. The application of FL-EndoViT in surgical downstream tasks results in performance comparable to CEN-EndoViT. Furthermore, FL-EndoViT exhibits advantages over CEN-EndoViT in surgical scene segmentation when data is limited and in action triplet recognition when large datasets are used. Conclusion: These findings highlight the potential of federated learning for privacy-preserving training of surgical foundation models, offering a robust and generalizable solution for surgical data science. Effective collaboration requires adapting federated learning methods, such as the integration of FedSAM, which can accommodate the inherent data heterogeneity across institutions. In future, exploring FL in video-based models may enhance these capabilities by incorporating spatiotemporal dynamics crucial for real-world surgical environments.
Abstract（参考訳）: 目的: 本研究は, フェデレートラーニングを用いた基礎モデルのトレーニングを行い, データ共有の限界に対処し, 最小侵襲手術のためのデータ転送を伴わない協調モデルトレーニングを実現することを目的とする。方法:EndoViT研究に触発されて,Masked Autoencoderを連邦学習に適用し,適応型シャープネス認識最小化(FedSAM)とStochastic Weight Averaging(SWA)を併用した。本モデルは,Semantic Segmentation(セマンティックセグメンテーション)やAction Triplet Recognition(アクショントリプレット認識),Pageal Phase Recognition(手術相認識)などのタスクに対して,Edo700kデータセットの事前トレーニングを行い,その後細かな調整と評価を行った。結果: 適応型FedSAMをFederated MAEアプローチに統合すると, 事前トレーニングが改善し, パッチ1本あたりの再建損失が減少することが明らかとなった。 FL-EndoViTの手術的下流タスクへの応用は、CEN-EndoViTに匹敵するパフォーマンスをもたらす。さらに、FL-EndoViTは、データ制限時の手術シーンセグメンテーションにおけるCEN-EndoViTの利点と、大規模なデータセットを使用する場合のアクショントリプルト認識の利点を示す。結論: これらの知見は, 外科的基礎モデルのプライバシ保護トレーニングにおけるフェデレーション学習の可能性を強調し, 外科的データ科学の堅牢で一般化可能なソリューションを提供する。効果的なコラボレーションにはフェデラームの統合のようなフェデラーニング手法を適用する必要がある。将来、ビデオベースのモデルでFLを探索することは、現実世界の外科的環境に不可欠な時空間力学を取り入れることで、これらの能力を向上する可能性がある。

関連論文リスト

FedEFM: Federated Endovascular Foundation Model with Unseen Data [11.320026809291239]
本稿では,血管内介入のための分散化フェデレーション学習環境における基礎モデルを学習するための新しい手法を提案する。我々は、知識蒸留の枠組みの中で、微分可能なアース・マーバーの距離を用いて、目に見えないデータ問題に取り組む。本研究は, 血管内挿術とロボット支援手術の進歩に寄与し, 新たな最先端の成果が得られた。
論文参考訳（メタデータ） (2025-01-28T14:46:38Z)
Boosting Few-Shot Learning with Disentangled Self-Supervised Learning and Meta-Learning for Medical Image Classification [8.975676404678374]
低データ体制下で訓練されたモデルの性能と一般化能力を改善するための戦略を提案する。提案手法は、自己教師付き学習環境において学習した特徴をアンタングル化して、下流タスクの表現の堅牢性を向上する事前学習段階から開始する。次に、メタファインニングのステップを導入し、メタトレーニングとメタテストフェーズの関連クラスを活用するが、レベルは変化する。
論文参考訳（メタデータ） (2024-03-26T09:36:20Z)
Jumpstarting Surgical Computer Vision [2.7396997668655163]
我々は、多様な外科的データセットを柔軟に活用するために、自己教師付き学習を採用する。腹腔鏡下胆嚢摘出術と腹腔鏡下子宮摘出術の位相認識と安全性の検討を行った。事前トレーニングデータセットの構成は、さまざまな下流タスクに対するSSLメソッドの有効性に大きな影響を与える可能性がある。
論文参考訳（メタデータ） (2023-12-10T18:54:16Z)
ArSDM: Colonoscopy Images Synthesis with Adaptive Refinement Semantic Diffusion Models [69.9178140563928]
大腸内視鏡検査は臨床診断や治療に不可欠である。注釈付きデータの不足は、既存の手法の有効性と一般化を制限する。本稿では, 下流作業に有用な大腸内視鏡画像を生成するために, 適応Refinement Semantic Diffusion Model (ArSDM)を提案する。
論文参考訳（メタデータ） (2023-09-03T07:55:46Z)
Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文参考訳（メタデータ） (2023-06-15T17:55:05Z)
Convolutional Monge Mapping Normalization for learning on sleep data [63.22081662149488]
我々は、CMMN(Convolutional Monge Mapping Normalization)と呼ばれる新しい手法を提案する。 CMMNは、そのパワースペクトル密度(PSD)をトレーニングデータに基づいて推定されるワッサーシュタインバリセンタに適応させるために、信号をフィルタリングする。睡眠脳波データに関する数値実験により、CMMNはニューラルネットワークアーキテクチャから独立して、顕著で一貫したパフォーマンス向上をもたらすことが示された。
論文参考訳（メタデータ） (2023-05-30T08:24:01Z)
Federated Cycling (FedCy): Semi-supervised Federated Learning of Surgical Phases [57.90226879210227]
FedCyは、FLと自己教師付き学習を組み合わせた半教師付き学習(FSSL)手法で、ラベル付きビデオとラベルなしビデオの両方の分散データセットを利用する。外科的段階の自動認識作業において,最先端のFSSL法よりも顕著な性能向上を示した。
論文参考訳（メタデータ） (2022-03-14T17:44:53Z)
BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
論文参考訳（メタデータ） (2022-02-21T10:34:41Z)
Differentially private federated deep learning for multi-site medical image segmentation [56.30543374146002]
フェデレートラーニング(FL)のような協調機械学習技術は、データ転送なしで効果的に大規模なデータセット上でモデルのトレーニングを可能にする。近年のイニシアチブでは、FLで訓練されたセグメンテーションモデルが、局所的に訓練されたモデルと同様のパフォーマンスを達成できることが示されている。しかし、FLは完全なプライバシ保護技術ではなく、プライバシ中心の攻撃は秘密の患者データを開示することができる。
論文参考訳（メタデータ） (2021-07-06T12:57:32Z)
Simulation-to-Real domain adaptation with teacher-student learning for endoscopic instrument segmentation [1.1047993346634768]
注釈付きシミュレーションデータとラベルのない実データから共同学習する教師学習手法を紹介します。 3つのデータセットの実証結果は、提案したフレームワークの有効性を浮き彫りにする。
論文参考訳（メタデータ） (2021-03-02T09:30:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。