論文の概要: Domain Discrepancy Aware Distillation for Model Aggregation in Federated Learning

• arxiv url: http://arxiv.org/abs/2210.02190v1
• Date: Tue, 4 Oct 2022 04:08:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 13:18:03.169786
• Title: Domain Discrepancy Aware Distillation for Model Aggregation in Federated Learning
• Title（参考訳）: フェデレーション学習におけるモデル集約のためのドメイン不一致認識
• Authors: Shangchao Su and Bin Li and Xiangyang Xue
• Abstract要約: サーバ・ツー・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアントの相違という2つの課題をドメインの相違によって集約モデルに導いた。 本稿では,領域差を考慮した蒸留に基づく適応的知識集約アルゴリズムFedD3Aを提案する。
• 参考スコア（独自算出の注目度）: 47.87639746826555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation has recently become popular as a method of model aggregation on the server for federated learning. It is generally assumed that there are abundant public unlabeled data on the server. However, in reality, there exists a domain discrepancy between the datasets of the server domain and a client domain, which limits the performance of knowledge distillation. How to improve the aggregation under such a domain discrepancy setting is still an open problem. In this paper, we first analyze the generalization bound of the aggregation model produced from knowledge distillation for the client domains, and then describe two challenges, server-to-client discrepancy and client-to-client discrepancy, brought to the aggregation model by the domain discrepancies. Following our analysis, we propose an adaptive knowledge aggregation algorithm FedD3A based on domain discrepancy aware distillation to lower the bound. FedD3A performs adaptive weighting at the sample level in each round of FL. For each sample in the server domain, only the client models of its similar domains will be selected for playing the teacher role. To achieve this, we show that the discrepancy between the server-side sample and the client domain can be approximately measured using a subspace projection matrix calculated on each client without accessing its raw data. The server can thus leverage the projection matrices from multiple clients to assign weights to the corresponding teacher models for each server-side sample. We validate FedD3A on two popular cross-domain datasets and show that it outperforms the compared competitors in both cross-silo and cross-device FL settings.
• Abstract（参考訳）: 近年,連合学習のためのサーバ上でのモデル集約方法として,知識蒸留が普及している。 一般に、サーバー上には公開されていないデータが豊富にあると仮定される。 しかし、実際には、サーバドメインのデータセットとクライアントドメインの間にドメインの相違があり、これは知識蒸留の性能を制限します。 このようなドメインの不一致設定下でのアグリゲーションの改善方法はまだ未解決の問題である。 本稿では,まず,クライアントドメインの知識蒸留から生成された集約モデルの一般化バウンダリを解析し,サーバ間差分とクライアント間差分という2つの課題について述べる。 そこで本研究では,領域差を考慮した蒸留に基づく適応的知識集約アルゴリズムFedD3Aを提案する。 FedD3AはFLの各ラウンドのサンプルレベルで適応重み付けを行う。 サーバドメインの各サンプルについて、教師の役割を演じるために、同様のドメインのクライアントモデルのみが選択されます。 これを実現するために,サーバサイドサンプルとクライアントドメインの差を,クライアントの生データにアクセスせずに各クライアントで計算した部分空間投影行列を用いて大まかに測定できることを示す。 これにより、サーバは複数のクライアントからのプロジェクション行列を利用して、サーバ側のサンプルごとに対応する教師モデルに重みを割り当てることができる。 我々はFedD3Aを2つの一般的なクロスドメインデータセットで検証し、クロスサイロとクロスデバイス両方のFL設定で比較した競合よりも優れていることを示す。

関連論文リスト

• Heterogeneous Federated Learning Using Knowledge Codistillation [23.895665011884102]
  本稿では、プール全体における小さなモデルと、より高いキャパシティを持つクライアントのサブセットにおけるより大きなモデルをトレーニングする手法を提案する。 モデルは、パラメータを共有することなく、サーバ上のラベルなしデータセットを利用して、知識蒸留を介して情報を双方向に交換する。
  論文  参考訳（メタデータ） (2023-10-04T03:17:26Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• HyperFed: Hyperbolic Prototypes Exploration with Consistent Aggregation for Non-IID Data in Federated Learning [14.503047600805436]
  フェデレーション学習(FL)は、分散された方法でユーザデータを協調的にモデル化する。 実世界では、クライアント間の非同一・独立データ分散(非IID)は、クラス統計のシフト、(2)階層的情報利用の不十分、(3)集約における不整合という3つの問題により、FLの性能を阻害する。
  論文  参考訳（メタデータ） (2023-07-26T02:43:38Z)
• Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
  クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。 既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。 以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
  論文  参考訳（メタデータ） (2022-09-21T17:37:54Z)
• Cross-domain Federated Object Detection [43.66352018668227]
  フェデレーション学習は、クライアントデータをリークすることなく、多人数の共同学習を可能にする。 我々はFedODというドメイン間フェデレーションオブジェクト検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-30T03:09:59Z)
• Game of Gradients: Mitigating Irrelevant Clients in Federated Learning [3.2095659532757916]
  フェデレートラーニング(FL)は、中央サーバのオーケストレーションの下で、機械学習モデルの協調トレーニングに参加する複数のクライアントを扱う。 この設定では、各クライアントのデータは自身にプライベートであり、他のクライアントやサーバに転送できない。 我々はこれらの問題をFederated Relevant Client Selection (FRCS)と呼ぶ。
  論文  参考訳（メタデータ） (2021-10-23T16:34:42Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Federated Unsupervised Representation Learning [56.715917111878106]
  フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。 FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
  論文  参考訳（メタデータ） (2020-10-18T13:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。