論文の概要: FedDAR: Federated Domain-Aware Representation Learning

• arxiv url: http://arxiv.org/abs/2209.04007v1
• Date: Thu, 8 Sep 2022 19:18:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-12 12:51:16.845022
• Title: FedDAR: Federated Domain-Aware Representation Learning
• Title（参考訳）: feddar: フェデレーションされたドメイン認識表現学習
• Authors: Aoxiao Zhong, Hao He, Zhaolin Ren, Na Li, Quanzheng Li
• Abstract要約: クロスサイロ・フェデレーション・ラーニング(FL)は、医療のための機械学習アプリケーションにおいて有望なツールとなっている。 本稿では,ドメイン共有表現とドメインワイド・パーソナライズされた予測ヘッドを学習する新しい手法であるFedDARを提案する。
• 参考スコア（独自算出の注目度）: 14.174833360938806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-silo Federated learning (FL) has become a promising tool in machine learning applications for healthcare. It allows hospitals/institutions to train models with sufficient data while the data is kept private. To make sure the FL model is robust when facing heterogeneous data among FL clients, most efforts focus on personalizing models for clients. However, the latent relationships between clients' data are ignored. In this work, we focus on a special non-iid FL problem, called Domain-mixed FL, where each client's data distribution is assumed to be a mixture of several predefined domains. Recognizing the diversity of domains and the similarity within domains, we propose a novel method, FedDAR, which learns a domain shared representation and domain-wise personalized prediction heads in a decoupled manner. For simplified linear regression settings, we have theoretically proved that FedDAR enjoys a linear convergence rate. For general settings, we have performed intensive empirical studies on both synthetic and real-world medical datasets which demonstrate its superiority over prior FL methods.
• Abstract（参考訳）: cross-silo federated learning(fl)は、医療のための機械学習アプリケーションにおいて有望なツールとなっている。 病院や施設は、データがプライベートに保たれている間に十分なデータでモデルを訓練できる。 flモデルがflクライアント間の異種データに対して堅牢であることを確認するため、ほとんどの取り組みはクライアントのモデルをパーソナライズすることに焦点を当てている。 しかし、クライアントのデータ間の潜伏関係は無視される。 本研究では、各クライアントのデータ分散を複数の事前定義されたドメインの混合とみなす、Domain-mixed FLと呼ばれる特殊な非IDFL問題に焦点を当てる。 ドメインの多様性とドメイン内の類似性を認識し,ドメインの共有表現とドメインのパーソナライズされた予測ヘッドを疎結合で学習する新しい手法であるFedDARを提案する。 線形回帰設定を単純化するために、FedDARが線形収束速度を享受できることを理論的に証明した。 一般的な設定では,従来のFL法よりも優れていることを示す人工的および実世界の医療データセットについて,集中的な実験を行った。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Eliminating Domain Bias for Federated Learning in Representation Space [31.52707182599217]
  連合学習のための一般的なフレームワークであるDomain Bias Eliminator (DBE)を提案する。 DBEはサーバとクライアント間の双方向の知識伝達を促進することができる。 DBEを具備したFL法は、10の最先端のパーソナライズされたFL法を大きなマージンで上回ることができる。
  論文  参考訳（メタデータ） (2023-11-25T09:22:34Z)
• FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning [37.96957782129352]
  我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。 Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。 その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-21T21:57:01Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
  フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。 本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。 これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
  論文  参考訳（メタデータ） (2022-05-19T03:32:03Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Federated learning with hierarchical clustering of local updates to improve training on non-IID data [3.3517146652431378]
  一つのジョイントモデルを学ぶことは、特定の種類の非IDデータが存在する場合に最適ではないことがよく示される。 階層的クラスタリングステップ(FL+HC)を導入することでFLに修正を加える。 FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルトレーニングを収束させることができることを示す。
  論文  参考訳（メタデータ） (2020-04-24T15:16:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。