論文の概要: Generalizable Heterogeneous Federated Cross-Correlation and Instance
Similarity Learning
- arxiv url: http://arxiv.org/abs/2309.16286v1
- Date: Thu, 28 Sep 2023 09:32:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-29 15:20:45.369545
- Title: Generalizable Heterogeneous Federated Cross-Correlation and Instance
Similarity Learning
- Title（参考訳）: 一般化可能な不均一フェデレーション相互相関と事例類似学習
- Authors: Wenke Huang, Mang Ye, Zekun Shi, Bo Du
- Abstract要約: 本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。
不均一な問題に対しては、無関係な公開データを通信に活用する。
局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
- 参考スコア（独自算出の注目度）: 60.058083574671834
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is an important privacy-preserving multi-party learning
paradigm, involving collaborative learning with others and local updating on
private data. Model heterogeneity and catastrophic forgetting are two crucial
challenges, which greatly limit the applicability and generalizability. This
paper presents a novel FCCL+, federated correlation and similarity learning
with non-target distillation, facilitating the both intra-domain
discriminability and inter-domain generalization. For heterogeneity issue, we
leverage irrelevant unlabeled public data for communication between the
heterogeneous participants. We construct cross-correlation matrix and align
instance similarity distribution on both logits and feature levels, which
effectively overcomes the communication barrier and improves the generalizable
ability. For catastrophic forgetting in local updating stage, FCCL+ introduces
Federated Non Target Distillation, which retains inter-domain knowledge while
avoiding the optimization conflict issue, fulling distilling privileged
inter-domain information through depicting posterior classes relation.
Considering that there is no standard benchmark for evaluating existing
heterogeneous federated learning under the same setting, we present a
comprehensive benchmark with extensive representative methods under four domain
shift scenarios, supporting both heterogeneous and homogeneous federated
settings. Empirical results demonstrate the superiority of our method and the
efficiency of modules on various scenarios.
- Abstract（参考訳）: フェデレーション学習(federated learning)は,プライバシを保全するマルチパーティ学習パラダイムとして重要なものだ。
モデルの不均一性と破滅的忘れは、適用性と一般化性を大幅に制限する2つの重要な課題である。
本稿では,ドメイン内識別性とドメイン間一般化を両立させる新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。
不均質な問題に対して,我々は無関係な公開データを不均一な参加者間のコミュニケーションに活用する。
相互相関行列を構築し,ロジットと機能レベルの両方におけるインスタンス類似度分布を調整し,通信障壁を効果的に克服し,汎用性を向上させる。
局所的な更新段階における破滅的な忘れ物として、FCCL+は、ドメイン間の知識を維持しながら、最適化競合問題を避け、後続のクラス関係を描写することで、ドメイン間情報の蒸留を満載するフェデレート非ターゲット蒸留を導入した。
既存のヘテロジニアスフェデレート学習を同じ設定で評価するための標準ベンチマークが存在しないことを考慮し、4つのドメインシフトシナリオの下で広範囲な代表手法を備えた総合ベンチマークを提示し、ヘテロジニアスフェデレート設定と均質フェデレート設定の両方をサポートする。
実験により,提案手法の優位性と各種シナリオにおけるモジュールの効率性を示す。
関連論文リスト
- A Unified Solution to Diverse Heterogeneities in One-shot Federated Learning [14.466679488063217]
ワンショットフェデレーション学習(FL)は、サーバとクライアント間の通信を1ラウンドに制限する。
モデルとデータの不均一性の両方を効果的に扱える統一的でデータフリーなワンショットFLフレームワーク(FedHydra)を提案する。
論文 参考訳（メタデータ） (2024-10-28T15:20:52Z) - Learning Fair Invariant Representations under Covariate and Correlation Shifts Simultaneously [10.450977234741524]
フェアネスを意識したドメイン不変予測器の学習に焦点をあてた,新しい手法を提案する。
提案手法は, モデル精度だけでなく, グループ的, 個人的公正性についても, 最先端の手法を超越した手法である。
論文 参考訳（メタデータ） (2024-08-18T00:01:04Z) - Addressing Skewed Heterogeneity via Federated Prototype Rectification with Personalization [35.48757125452761]
フェデレートラーニング(Federated Learning)は、複数の分散デバイス間の協調モデルトレーニングを容易にするために設計された、効率的なフレームワークである。
連合学習の重要な課題は、データレベルの不均一性、すなわち、スキュードまたはロングテールのプライベートデータの分散である。
本稿では,フェデレーション・パーソナライゼーションとフェデレーション・プロトタイプ・レクティフィケーションの2つの部分からなる新しいフェデレーション・プロトタイプ・レクティフィケーションを提案する。
論文 参考訳（メタデータ） (2024-08-15T06:26:46Z) - FedSIS: Federated Split Learning with Intermediate Representation
Sampling for Privacy-preserving Generalized Face Presentation Attack
Detection [4.1897081000881045]
目に見えないドメイン/アタックへの一般化の欠如は、FacePAD(face presentation attack detection)アルゴリズムのアキレスヒールである。
本研究では、プライバシ保護ドメインの一般化のために、中間表現サンプリング(FedSIS)を用いたFederated Split Learningと呼ばれる新しいフレームワークを導入する。
論文 参考訳（メタデータ） (2023-08-20T11:49:12Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳（メタデータ） (2023-03-01T06:16:15Z) - Feature Correlation-guided Knowledge Transfer for Federated
Self-supervised Learning [19.505644178449046]
特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。
私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。
我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
論文 参考訳（メタデータ） (2022-11-14T13:59:50Z) - FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for
Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。
本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。
これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文 参考訳（メタデータ） (2022-05-19T03:32:03Z) - Heterogeneous Target Speech Separation [52.05046029743995]
我々は,非相互排他的概念を用いて興味のあるソースを区別できる単一チャネルターゲットソース分離のための新しいパラダイムを提案する。
提案する異種分離フレームワークは,分散シフトが大きいデータセットをシームレスに利用することができる。
論文 参考訳（メタデータ） (2022-04-07T17:14:20Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。
我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。
パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
論文 参考訳（メタデータ） (2021-01-27T10:10:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。