論文の概要: A Federated Learning-Friendly Approach for Parameter-Efficient Fine-Tuning of SAM in 3D Segmentation

• arxiv url: http://arxiv.org/abs/2407.21739v1
• Date: Wed, 31 Jul 2024 16:48:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 17:31:11.897027
• Title: A Federated Learning-Friendly Approach for Parameter-Efficient Fine-Tuning of SAM in 3D Segmentation
• Title（参考訳）: 3次元セグメンテーションにおけるSAMのパラメータ効率の良い微調整のためのフェデレートラーニングフレンドリーなアプローチ
• Authors: Mothilal Asokan, Joseph Geo Benjamin, Mohammad Yaqub, Karthik Nandakumar,
• Abstract要約: 医用画像解析に基礎モデルを適用するには、かなりの量のデータでそれらを微調整する必要がある。 このような微調整のためのタスク固有の医療データを中央で収集することは、多くのプライバシー上の懸念を引き起こす。 フェデレーテッド・ラーニング(FL)は、プライベートな分散データをトレーニングするための効果的な手段を提供するが、大規模な基盤モデルをフェデレーテッドする際の通信コストは、すぐに重大なボトルネックとなる可能性がある。
• 参考スコア（独自算出の注目度）: 5.011091042850546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting foundation models for medical image analysis requires finetuning them on a considerable amount of data because of extreme distribution shifts between natural (source) data used for pretraining and medical (target) data. However, collecting task-specific medical data for such finetuning at a central location raises many privacy concerns. Although Federated learning (FL) provides an effective means for training on private decentralized data, communication costs in federating large foundation models can quickly become a significant bottleneck, impacting the solution's scalability. In this work, we address this problem of efficient communication while ensuring effective learning in FL by combining the strengths of Parameter-Efficient Fine-tuning (PEFT) with FL. Specifically, we study plug-and-play Low-Rank Adapters (LoRA) in a federated manner to adapt the Segment Anything Model (SAM) for 3D medical image segmentation. Unlike prior works that utilize LoRA and finetune the entire decoder, we critically analyze the contribution of each granular component of SAM on finetuning performance. Thus, we identify specific layers to be federated that are very efficient in terms of communication cost while producing on-par accuracy. Our experiments show that retaining the parameters of the SAM model (including most of the decoder) in their original state during adaptation is beneficial because fine-tuning on small datasets tends to distort the inherent capabilities of the underlying foundation model. On Fed-KiTS, our approach decreases communication cost (~48x) compared to full fine-tuning while increasing performance (~6% Dice score) in 3D segmentation tasks. Our approach performs similar to SAMed while achieving ~2.8x reduction in communication and parameters to be finetuned. We further validate our approach with experiments on Fed-IXI and Prostate MRI datasets.
• Abstract（参考訳）: 医用画像解析に基礎モデルを適用するには、事前トレーニングに使用される自然(ソース)データと医療(ターゲット)データの間の極端な分布シフトのため、かなりの量のデータを微調整する必要がある。 しかし、こうした微調整のためのタスク固有の医療データを中央で収集することは、多くのプライバシー上の懸念を引き起こす。 フェデレートラーニング(FL)は、プライベートな分散データのトレーニングに効果的な手段を提供するが、大規模な基盤モデルをフェデレートする際の通信コストは、すぐに重大なボトルネックとなり、ソリューションのスケーラビリティに影響を及ぼす可能性がある。 本研究では,パラメータ・エフェクト・ファインチューニング(PEFT)の強みをFLと組み合わせることで,FLにおける効果的な学習を確保しつつ,効率的なコミュニケーションの課題に対処する。 具体的には、3次元医用画像のセグメンテーションにセグメンメント・アニーシング・モデル(SAM)を適用するために、プラグアンドプレイのローランド・アダプタ(LoRA)を連合的に研究する。 LoRAを利用してデコーダ全体を微調整する以前の作業とは異なり、SAMの各粒状成分が微調整性能に与える影響を批判的に分析する。 そこで本研究では,通信コストの面で非常に効率のよい特定の層を同定し,オンパー精度を実現した。 実験により,SAMモデル(デコーダのほとんどを含む)のパラメータを適応時の元の状態に保持することは,基礎となる基盤モデルの性質を歪ませる傾向があるため,有用であることがわかった。 Fed-KiTSでは,3Dセグメンテーションタスクの性能を向上しながら,完全な微調整に比べて通信コスト(〜48倍)を低下させる。 提案手法はSAMedと類似し,通信の約2.8倍の低減を実現し,パラメータを微調整する。 我々は、Fed-IXIとProstate MRIデータセットの実験により、我々のアプローチをさらに検証する。

関連論文リスト

• Anatomical 3D Style Transfer Enabling Efficient Federated Learning with Extremely Low Communication Costs [1.3654846342364306]
  本稿では,多臓器分割作業に3Dスタイル転送を利用する新しいフェデレートラーニング(FL)手法を提案する。 これらのクラスターに基づいてスタイルを混ぜることで、解剖学的情報を保存し、モデルに組織内多様性を学習させる。 実験により,通信コストが極めて制限された場合においても,本手法は精度を維持可能であることが示された。
  論文  参考訳（メタデータ） (2024-10-26T07:00:40Z)
• FACMIC: Federated Adaptative CLIP Model for Medical Image Classification [12.166024140377337]
  本稿では,CLIPモデルを用いた適応型コントラスト言語画像の分類処理について紹介する。 私たちはCLIP用の軽量で効率的な機能アテンションモジュールを採用し、各クライアントのデータに適した機能を選択します。 本稿では,クライアント間のデータ分散の差異を低減するためのドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T13:24:10Z)
• HRSAM: Efficient Interactive Segmentation in High-Resolution Images [59.537068118473066]
  Segment Anything Model (SAM) は高度な対話的セグメンテーションを持つが、高解像度画像の計算コストによって制限される。 本稿では,視覚長外挿に着目し,HRSAMという軽量モデルを提案する。 この外挿により、HRSAMは低分解能で訓練され、高分解能に一般化できる。
  論文  参考訳（メタデータ） (2024-07-02T09:51:56Z)
• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Vicinal Feature Statistics Augmentation for Federated 3D Medical Volume Segmentation [17.096806029281385]
  FL(Federated Learning)は、複数のクライアント医療機関が、プライバシー保護を備えたディープラーニング(DL)モデルを共同でトレーニングすることを可能にする。 しかし、FLの性能は、小さな機関におけるラベル付きデータの限られた可用性と、機関間での不均一な(すなわち非i.d.)データ分散によって制限される。 我々は,局所的な特徴シフトを効果的に緩和し,プライバシーに配慮したFLセグメンテーションのための協調トレーニングを容易にするために,ビジナルな特徴レベルデータ拡張手法を開発した。
  論文  参考訳（メタデータ） (2023-10-23T21:14:52Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Source-Free Collaborative Domain Adaptation via Multi-Perspective Feature Enrichment for Functional MRI Analysis [55.03872260158717]
  安静時MRI機能(rs-fMRI)は、神経疾患の分析を助けるために多地点で研究されている。 ソース領域とターゲット領域の間のfMRIの不均一性を低減するための多くの手法が提案されている。 しかし、マルチサイト研究における懸念やデータストレージの負担のため、ソースデータの取得は困難である。 我々は、fMRI解析のためのソースフリー協調ドメイン適応フレームワークを設計し、事前訓練されたソースモデルとラベルなしターゲットデータのみにアクセスできるようにする。
  論文  参考訳（メタデータ） (2023-08-24T01:30:18Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Label-Efficient Self-Supervised Federated Learning for Tackling Data Heterogeneity in Medical Imaging [23.08596805950814]
  医用画像解析のための頑健でラベル効率の良い自己教師型FLフレームワークを提案する。 具体的には,既存のFLパイプラインに分散自己教師型事前学習パラダイムを導入する。 自己教師付きFLアルゴリズムは,分布外データに対してよく一般化し,限定ラベルのシナリオにおいてより効果的にフェデレーションモデルを学習することを示す。
  論文  参考訳（メタデータ） (2022-05-17T18:33:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。