論文の概要: Factorized-FL: Agnostic Personalized Federated Learning with Kernel Factorization & Similarity Matching

• arxiv url: http://arxiv.org/abs/2202.00270v1
• Date: Tue, 1 Feb 2022 08:00:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-02 14:38:10.122074
• Title: Factorized-FL: Agnostic Personalized Federated Learning with Kernel Factorization & Similarity Matching
• Title（参考訳）: Factorized-FL:カーネルファクトリゼーションと類似性マッチングを併用したAgnostic Personalized Federated Learning
• Authors: Wonyong Jeong, Sung Ju Hwang
• Abstract要約: 現実世界のフェデレートされた学習シナリオでは、参加者は他のクライアントのものと互換性のない、独自のパーソナライズされたラベルを持つことができる。 本研究では,ラベル・タスク・ヘテロジニアス・フェデレーション・ラーニング・セッティングに効果的に取り組むためのFacterized-FLを提案する。 本手法はラベルとドメインの不均一な設定の両方で広範に検証し、最先端の個人化フェデレーション学習法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 70.95184015412798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In real-world federated learning scenarios, participants could have their own personalized labels which are incompatible with those from other clients, due to using different label permutations or tackling completely different tasks or domains. However, most existing FL approaches cannot effectively tackle such extremely heterogeneous scenarios since they often assume that (1) all participants use a synchronized set of labels, and (2) they train on the same task from the same domain. In this work, to tackle these challenges, we introduce Factorized-FL, which allows to effectively tackle label- and task-heterogeneous federated learning settings by factorizing the model parameters into a pair of vectors, where one captures the common knowledge across different labels and tasks and the other captures knowledge specific to the task each local model tackles. Moreover, based on the distance in the client-specific vector space, Factorized-FL performs selective aggregation scheme to utilize only the knowledge from the relevant participants for each client. We extensively validate our method on both label- and domain-heterogeneous settings, on which it outperforms the state-of-the-art personalized federated learning methods.
• Abstract（参考訳）: 実世界のフェデレートされた学習シナリオでは、参加者は異なるラベルの置換を使用したり、まったく異なるタスクやドメインに対処するため、他のクライアントと互換性のない独自のラベルを持つことができる。 しかしながら、既存のFLアプローチのほとんどは、(1)全ての参加者が同期されたラベルセットを使用し、(2)同じドメインから同じタスクでトレーニングしていると仮定するので、このような非常に異種なシナリオに効果的に対処することはできない。 本研究では、これらの課題に対処するために、モデルパラメータを2つのベクトルに分解することで、ラベルとタスクを効果的に対応できるFactized-FLを導入し、各ローカルモデルが取り組んだタスクに特有の知識を各ラベルとタスクにまたがる共通知識をキャプチャする。 さらに、クライアント固有のベクトル空間の距離に基づいて、Facterized-FLは選択的なアグリゲーションスキームを実行し、関連する参加者からの知識のみをクライアントごとに活用する。 提案手法はラベルとドメインのヘテロゲネス設定の両方において広範囲に検証し,その効果を検証した。

関連論文リスト

• Learn What You Need in Personalized Federated Learning [53.83081622573734]
  $textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。 我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-16T12:45:15Z)
• Rethinking Semi-Supervised Federated Learning: How to co-train fully-labeled and fully-unlabeled client imaging data [6.322831694506287]
  分離フェデレートラーニング(IsoFed)は、半教師付きフェデレートラーニング(SSFL)に特化して設計されたラーニングスキームである。 本稿では,教師付きモデルと半教師付きモデルの簡易な平均化を回避し,SSFLに特化して設計した新しい学習手法を提案する。 特に、我々のトレーニングアプローチは、(a)ラベル付きおよびラベルなしのクライアントモデルの独立したアグリゲーションと、(b)すべてのクライアントで独立したグローバルモデルのローカルな自己教師付き事前トレーニングという2つの部分で構成されています。
  論文  参考訳（メタデータ） (2023-10-28T20:41:41Z)
• Federated Two Stage Decoupling With Adaptive Personalization Layers [5.69361786082969]
  フェデレーション学習は、プライバシ制約を維持しながら分散学習を可能にする能力によって、大きな注目を集めている。 本質的には、学習の劣化と収束速度の低下を経験する。 等質なクライアントを同じ群にクラスタリングするという概念を採用することは自然であり、各群内のモデル重みのみを集約することができる。
  論文  参考訳（メタデータ） (2023-08-30T07:46:32Z)
• Masked Autoencoders are Efficient Continual Federated Learners [20.856520787551453]
  継続的な学習は、クライアント間で共有される表現の教師なしの学習に基礎を置くべきです。 分布推定のためのマスク付きオートエンコーダはこの設定に特に適している。
  論文  参考訳（メタデータ） (2023-06-06T09:38:57Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Federated Self-supervised Learning for Heterogeneous Clients [20.33482170846688]
  異種クライアント上でのフェデレーションによる自己教師型学習を実現するための統一的かつ体系的なフレームワークであるemphHeterogeneous Self-supervised Federated Learning (Hetero-SSFL)を提案する。 提案したフレームワークは、アーキテクチャ上の制約やラベル付きデータの存在を伴わずに、すべてのクライアントをまたいだ表現学習を可能にする。 我々は,提案手法が最先端の手法よりも優れていることを実証的に実証した。
  論文  参考訳（メタデータ） (2022-05-25T05:07:44Z)
• On the Convergence of Clustered Federated Learning [57.934295064030636]
  統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。 本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-13T02:39:19Z)
• Practical One-Shot Federated Learning for Cross-Silo Setting [114.76232507580067]
  ワンショット・フェデレーション・ラーニングは、クロスサイロ環境でフェデレーション・ラーニングを適用するための有望なアプローチである。 本稿では,FedKTという,実践的なワンショットフェデレーション学習アルゴリズムを提案する。 知識伝達技術を利用することで、FedKTは任意の分類モデルに適用でき、フレキシブルに差分プライバシー保証を達成できる。
  論文  参考訳（メタデータ） (2020-10-02T14:09:10Z)
• Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning [78.88007892742438]
  ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。 フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-22T09:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。