論文の概要: Evidential Federated Learning for Skin Lesion Image Classification
- arxiv url: http://arxiv.org/abs/2411.10071v1
- Date: Fri, 15 Nov 2024 09:34:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-18 15:39:36.790444
- Title: Evidential Federated Learning for Skin Lesion Image Classification
- Title(参考訳): 皮膚病変画像分類のためのエビデンシャルフェデレート学習
- Authors: Rutger Hendrix, Federica Proietto Salanitri, Concetto Spampinato, Simone Palazzo, Ulas Bagci,
- Abstract要約: FedEvPromptは、明らかなディープラーニング、迅速なチューニング、知識蒸留の原則を統合する、連合学習アプローチである。
ラウンドベースの学習パラダイムで最適化されており、各ラウンドではローカルモデルをトレーニングし、次にすべてのフェデレーションクライアントとアテンションマップを共有する。
結論としてFedEvPromptは、データ不均一性、不均衡、プライバシー保護、知識共有といった課題に効果的に対処する、連邦学習に有望なアプローチを提供する。
- 参考スコア(独自算出の注目度): 9.112380151690862
- License:
- Abstract: We introduce FedEvPrompt, a federated learning approach that integrates principles of evidential deep learning, prompt tuning, and knowledge distillation for distributed skin lesion classification. FedEvPrompt leverages two sets of prompts: b-prompts (for low-level basic visual knowledge) and t-prompts (for task-specific knowledge) prepended to frozen pre-trained Vision Transformer (ViT) models trained in an evidential learning framework to maximize class evidences. Crucially, knowledge sharing across federation clients is achieved only through knowledge distillation on attention maps generated by the local ViT models, ensuring enhanced privacy preservation compared to traditional parameter or synthetic image sharing methodologies. FedEvPrompt is optimized within a round-based learning paradigm, where each round involves training local models followed by attention maps sharing with all federation clients. Experimental validation conducted in a real distributed setting, on the ISIC2019 dataset, demonstrates the superior performance of FedEvPrompt against baseline federated learning algorithms and knowledge distillation methods, without sharing model parameters. In conclusion, FedEvPrompt offers a promising approach for federated learning, effectively addressing challenges such as data heterogeneity, imbalance, privacy preservation, and knowledge sharing.
- Abstract(参考訳): 本稿では, 深層学習, 即時チューニング, および分散皮膚病変分類のための知識蒸留の原理を統合したフェデレーション学習手法であるFedEvPromptを紹介する。
FedEvPromptは、b-prompts(低レベルの基本的な視覚知識)とt-prompts(タスク固有の知識)の2つのプロンプトを利用する。
重要なことは、フェデレーションクライアント間の知識共有は、ローカルなViTモデルによって生成された注目マップの知識蒸留によってのみ達成され、従来のパラメータや合成画像共有手法と比較して、プライバシー保護の強化が保証される。
FedEvPromptは、ラウンドベースの学習パラダイム内で最適化されており、各ラウンドでは、ローカルモデルをトレーニングし、すべてのフェデレーションクライアントとアテンションマップを共有する。
ISIC2019データセットを用いた実分散環境での実験検証では,モデルパラメータを共有することなく,ベースラインフェデレーション学習アルゴリズムや知識蒸留法に対してFedEvPromptの優れた性能を示す。
結論としてFedEvPromptは、データ不均一性、不均衡、プライバシー保護、知識共有といった課題に効果的に対処する、連邦学習に有望なアプローチを提供する。
関連論文リスト
- High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。
具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。
2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2024-09-10T08:04:11Z) - Cross-Training with Multi-View Knowledge Fusion for Heterogenous Federated Learning [13.796783869133531]
本稿では,多視点情報を活用したクロストレーニング手法により,フェデレーション学習を促進する新しい手法を提案する。
具体的には、FedCTと呼ばれる提案手法には、3つの主要なモジュールが含まれており、整合性を考慮した知識放送モジュールはモデルの割り当て戦略を最適化することを目的としている。
多視点知識誘導表現学習モジュールは、グローバルな視点とローカルな視点の両方から融合した知識を活用し、モデル交換前後の局所的な知識の保存を強化する。
ミックスアップベースの機能拡張モジュールは、豊富な情報を集約して、機能空間の多様性をさらに高める。
論文 参考訳(メタデータ) (2024-05-30T13:27:30Z) - KnFu: Effective Knowledge Fusion [5.305607095162403]
フェデレートラーニング(FL)は、従来の集中型ラーニングのアプローチに代わる顕著な代替手段として登場した。
本稿では,各クライアントに対してセマンティックな隣人の効果的な知識を融合させるためのみに,局所モデルの知識を評価するEffective Knowledge Fusion(KnFu)アルゴリズムを提案する。
この研究の重要な結論は、大規模でヘテロジニアスなローカルデータセットを持つシナリオでは、知識融合ベースのソリューションよりも局所的なトレーニングが望ましい、ということである。
論文 参考訳(メタデータ) (2024-03-18T15:49:48Z) - Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。
新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。
新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
論文 参考訳(メタデータ) (2024-01-03T07:59:17Z) - Selective Knowledge Sharing for Privacy-Preserving Federated
Distillation without A Good Teacher [52.2926020848095]
フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。
本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
論文 参考訳(メタデータ) (2023-04-04T12:04:19Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳(メタデータ) (2023-03-01T06:16:15Z) - Heterogeneous Federated Knowledge Graph Embedding Learning and
Unlearning [14.063276595895049]
Federated Learning(FL)は、生データを共有せずに分散クライアント間でグローバル機械学習モデルをトレーニングするパラダイムである。
ヘテロジニアスなKG埋め込み学習とアンラーニングのための新しいFLフレームワークであるFedLUを提案する。
我々は,FedLUがリンク予測と知識忘れの両方において優れた結果を得ることを示す。
論文 参考訳(メタデータ) (2023-02-04T02:44:48Z) - When Do Curricula Work in Federated Learning? [56.88941905240137]
カリキュラム学習は非IID性を大幅に軽減する。
クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。
本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
論文 参考訳(メタデータ) (2022-12-24T11:02:35Z) - Feature Correlation-guided Knowledge Transfer for Federated
Self-supervised Learning [19.505644178449046]
特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。
私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。
我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
論文 参考訳(メタデータ) (2022-11-14T13:59:50Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。