論文の概要: Where to Begin? From Random to Foundation Model Instructed
Initialization in Federated Learning for Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2311.15463v1
- Date: Mon, 27 Nov 2023 00:29:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 17:29:16.811803
- Title: Where to Begin? From Random to Foundation Model Instructed
Initialization in Federated Learning for Medical Image Segmentation
- Title（参考訳）: どこから始める?
医用画像セグメンテーションのためのフェデレーション学習におけるランダムから基礎モデルへの初期化
- Authors: Ming Li, Guang Yang
- Abstract要約: 医療画像解析において、フェデレートラーニング(FL)は、プライバシ保護された分散データ処理を可能にする重要な技術である。
本稿では,基礎モデルを膨大な事前学習知識で活用することの影響を探求する,新しい視点を提案する。
- 参考スコア（独自算出の注目度）: 11.412151951949102
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In medical image analysis, Federated Learning (FL) stands out as a key
technology that enables privacy-preserved, decentralized data processing,
crucial for handling sensitive medical data. Currently, most FL models employ
random initialization, which has been proven effective in various instances.
However, given the unique challenges posed by non-IID (independently and
identically distributed) data in FL, we propose a novel perspective: exploring
the impact of using the foundation model with enormous pre-trained knowledge,
such as the Segment Anything Model (SAM), as an instructive teacher for FL
model initialization in medical image segmentation task. This work for the
first time attempts to utilize the foundation model as an instructive teacher
for initialization in FL, assessing its impact on the performance of FL models,
especially in non-IID data scenarios. Our empirical evaluation on chest x-ray
lung segmentation showcases that FL with foundation model instructed
initialization not only achieves faster convergence but also improves
performance in complex data contexts. These findings offer a new perspective
for model initialization in FL.
- Abstract（参考訳）: 医療画像解析において、フェデレートラーニング(FL)は、機密性の高い医療データを扱う上で不可欠な、プライバシ保護された分散データ処理を可能にする重要な技術である。
現在、ほとんどのflモデルはランダム初期化を採用しており、様々なインスタンスで効果的であることが証明されている。
しかし, FLにおける非IID(独立・同一分散)データによる固有の課題を考慮し, 医療画像分割作業におけるFLモデル初期化の指導的教師としてセグメンツ・アニーシング・モデル(SAM)のような膨大な事前学習知識を持つ基礎モデルを使用することによる影響を探る, 新たな視点を提案する。
この研究は、特に非iidデータシナリオにおけるflモデルの性能への影響を評価するために、flの初期化のための指導的教師としての基礎モデルを利用することを初めて試みている。
胸部x線肺分画に対する経験的評価では,基礎モデルを用いたflの初期化がより高速に収束するだけでなく,複雑なデータコンテキストにおける性能も向上することを示した。
これらの知見はFLにおけるモデル初期化の新しい視点を提供する。
関連論文リスト
- Unleashing the Potential of the Diffusion Model in Few-shot Semantic Segmentation [56.87049651707208]
セマンティックはインコンテクストタスクへと発展し、一般化的セグメンテーションモデルを評価する上で重要な要素となった。
我々の最初の焦点は、クエリイメージとサポートイメージの相互作用を容易にする方法を理解することであり、その結果、自己注意フレームワーク内のKV融合法が提案される。
そこで我々はDiffewSというシンプルで効果的なフレームワークを構築し,従来の潜在拡散モデルの生成フレームワークを最大限に保持する。
論文 参考訳（メタデータ） (2024-10-03T10:33:49Z) - High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。
具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。
2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2024-09-10T08:04:11Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - A Comprehensive Study on Model Initialization Techniques Ensuring
Efficient Federated Learning [0.0]
フェデレートラーニング(FL)は、分散とプライバシ保護の方法で機械学習モデルをトレーニングするための有望なパラダイムとして登場した。
モデルに使用される手法の選択は、フェデレーション学習システムの性能、収束速度、通信効率、プライバシー保証において重要な役割を果たす。
本研究は,各手法のメリットとデメリットを慎重に比較,分類,記述し,さまざまなFLシナリオに適用性について検討する。
論文 参考訳（メタデータ） (2023-10-31T23:26:58Z) - A Comprehensive View of Personalized Federated Learning on Heterogeneous Clinical Datasets [0.4926316920996346]
フェデレートラーニング(FL)は、データサイロを克服する上で重要なアプローチである。
本研究は,臨床応用に焦点を当てたFL研究の進展に寄与する。
論文 参考訳（メタデータ） (2023-09-28T20:12:17Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:28:29Z) - On the Importance and Applicability of Pre-Training for Federated
Learning [28.238484580662785]
我々は,連合学習のための事前学習を体系的に研究する。
事前学習はFLを改善するだけでなく,その精度のギャップを集中学習に埋めることもできる。
本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。
論文 参考訳（メタデータ） (2022-06-23T06:02:33Z) - ST-FL: Style Transfer Preprocessing in Federated Learning for COVID-19
Segmentation [1.6799377888527687]
新型コロナウイルスのイメージセグメンテーションのための,ST-FL(Style Transfer Federated Learning)と呼ばれるGAN拡張型フェデレーション学習モデルを提案する。
FLクライアントノード上での広範囲なデータ品質の変化は、COVID-19胸部CT画像のセグメンテーションにおいて、サブ最適化されたFLモデルに繋がることを示す。
論文 参考訳（メタデータ） (2022-03-25T14:33:02Z) - Closing the Generalization Gap of Cross-silo Federated Medical Image
Segmentation [66.44449514373746]
クロスサイロ・フェデレーション・ラーニング (FL) は近年, 深層学習による医用画像解析において注目されている。
FLでトレーニングされたモデルと、集中的なトレーニングでトレーニングされたモデルの間にはギャップがある。
本稿では,クライアントの問題を回避し,ドリフトギャップを解消するための新しいトレーニングフレームワークであるFedSMを提案する。
論文 参考訳（メタデータ） (2022-03-18T19:50:07Z) - Differentially private federated deep learning for multi-site medical
image segmentation [56.30543374146002]
フェデレートラーニング(FL)のような協調機械学習技術は、データ転送なしで効果的に大規模なデータセット上でモデルのトレーニングを可能にする。
近年のイニシアチブでは、FLで訓練されたセグメンテーションモデルが、局所的に訓練されたモデルと同様のパフォーマンスを達成できることが示されている。
しかし、FLは完全なプライバシ保護技術ではなく、プライバシ中心の攻撃は秘密の患者データを開示することができる。
論文 参考訳（メタデータ） (2021-07-06T12:57:32Z) - Prototype Guided Federated Learning of Visual Feature Representations [15.021124010665194]
Federated Learning(FL)は、分散モデルトレーニングを可能にするフレームワークである。
既存の手法は、内部表現を無視したモデルを集約する。
我々は、分散データ上で学習した表現のマージンを用いてクライアントの偏差を計算するFedProtoを紹介する。
論文 参考訳（メタデータ） (2021-05-19T08:29:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。