論文の概要: Robust and Communication-Efficient Federated Domain Adaptation via Random Features

• arxiv url: http://arxiv.org/abs/2311.04686v1
• Date: Wed, 8 Nov 2023 13:46:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 15:50:54.445463
• Title: Robust and Communication-Efficient Federated Domain Adaptation via Random Features
• Title（参考訳）: ランダム特徴を用いたロバストかつ通信効率の良いフェデレーションドメイン適応
• Authors: Zhanbo Feng, Yuanjie Wang, Jie Li, Fan Yang, Jiong Lou, Tiebin Mi, Robert. C. Qiu, Zhenyu Liao
• Abstract要約: フェデレートされたドメイン適応(FDA)は、この課題に対処するための強力なアプローチとして現れます。 RF-TCAは、理論的および経験的性能を損なうことなく計算を著しく高速化する標準転送成分分析手法の拡張である。 我々は,FedRF-TCAの優れた性能とロバスト性(ネットワーク状態への)を示す広範囲な実験を行った。
• 参考スコア（独自算出の注目度）: 9.97347047837426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern machine learning (ML) models have grown to a scale where training them on a single machine becomes impractical. As a result, there is a growing trend to leverage federated learning (FL) techniques to train large ML models in a distributed and collaborative manner. These models, however, when deployed on new devices, might struggle to generalize well due to domain shifts. In this context, federated domain adaptation (FDA) emerges as a powerful approach to address this challenge. Most existing FDA approaches typically focus on aligning the distributions between source and target domains by minimizing their (e.g., MMD) distance. Such strategies, however, inevitably introduce high communication overheads and can be highly sensitive to network reliability. In this paper, we introduce RF-TCA, an enhancement to the standard Transfer Component Analysis approach that significantly accelerates computation without compromising theoretical and empirical performance. Leveraging the computational advantage of RF-TCA, we further extend it to FDA setting with FedRF-TCA. The proposed FedRF-TCA protocol boasts communication complexity that is \emph{independent} of the sample size, while maintaining performance that is either comparable to or even surpasses state-of-the-art FDA methods. We present extensive experiments to showcase the superior performance and robustness (to network condition) of FedRF-TCA.
• Abstract（参考訳）: 現代の機械学習(ML)モデルは、単一のマシンでそれらをトレーニングするスケールに成長した。 その結果、大規模なMLモデルを分散的かつ協調的にトレーニングするために、連邦学習(FL)技術を活用する傾向が高まっている。 しかし、これらのモデルは、新しいデバイスにデプロイされると、ドメインシフトのため、うまく一般化できないかもしれない。 この文脈では、フェデレーションドメイン適応(fda)は、この課題に対処するための強力なアプローチとして現れます。 既存のFDAのアプローチは、典型的にはソースとターゲットドメイン間の分配を最小化すること(MDDなど)に焦点を当てている。 しかし、そのような戦略は必然的に高い通信オーバーヘッドをもたらし、ネットワークの信頼性に非常に敏感である。 本稿では,理論的および経験的性能を損なうことなく計算を著しく高速化する標準転送成分分析手法であるRF-TCAを紹介する。 RF-TCAの計算的優位性を生かして、さらにFedRF-TCAを用いたFDA設定に拡張する。 提案したFedRF-TCAプロトコルは、サンプルサイズの‘emph{independent’である通信複雑性を誇示すると同時に、最先端のFDAメソッドに匹敵する、あるいは超えるパフォーマンスを維持している。 我々は,FedRF-TCAの優れた性能とロバスト性(ネットワーク状態)を示す広範な実験を行った。

関連論文リスト

• FedMHO: Heterogeneous One-Shot Federated Learning Towards Resource-Constrained Edge Devices [12.08958206272527]
  フェデレートラーニング(FL)はエッジコンピューティングのシナリオにおいてますます採用され、多くの異種クライアントが制約や十分なリソースの下で運用されている。 ワンショットFLは通信オーバーヘッドを軽減するための有望なアプローチとして登場し、モデルヘテロジニアスFLはクライアント間の多様なコンピューティングリソースの問題を解決する。 本稿では,リソースに制約のあるデバイス上で,リソースに十分なクライアントと軽量な生成モデルに対して,詳細な分類モデルを活用するFedMHOという新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T15:54:56Z)
• Communication-Efficient Federated Learning by Quantized Variance Reduction for Heterogeneous Wireless Edge Networks [55.467288506826755]
  フェデレーテッド・ラーニング(FL)は、無線エッジネットワークにおけるローカル・プライバシ・アウェア・コラボレーティブ・モデルトレーニングの有効なソリューションとして認識されている。 既存の通信効率の高いFLアルゴリズムは、デバイス間の大きなばらつきを低減できない。 本稿では,高度分散還元方式に依存する新しい通信効率FLアルゴリズムであるFedQVRを提案する。
  論文  参考訳（メタデータ） (2025-01-20T04:26:21Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• One Communication Round is All It Needs for Federated Fine-Tuning Foundation Models [11.019259905486015]
  1ラウンドの通信で、複数の通信で達成したのと同等のグローバルモデルの性能が得られることを示す。 実験の結果,単発ファインチューニングは通信コストを削減するだけでなく,アグリゲーションを実現し,プライバシを高め,パフォーマンスの整合性を維持することができることがわかった。 我々の発見は、ファインチューニングの実践に革命をもたらす可能性があり、効率を向上し、コストを削減し、大規模モデルのアクセシビリティを拡大する可能性がある。
  論文  参考訳（メタデータ） (2024-12-05T22:45:35Z)
• FedFT: Improving Communication Performance for Federated Learning with Frequency Space Transformation [0.361593752383807]
  フェデレート学習環境におけるモデルパラメータを伝達するための簡易かつ効果的な手法であるFedFT(Federated frequency-space transformation)を導入する。 FedFTは離散コサイン変換(DCT)を用いて周波数空間のモデルパラメータを表現し、効率的な圧縮と通信オーバーヘッドの低減を実現している。 我々は,3つの最先端FLベースラインとの比較研究を用いて,FedFT手法の4つのデータセット上での汎用性を実証した。
  論文  参考訳（メタデータ） (2024-09-08T23:05:35Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Model-Contrastive Federated Domain Adaptation [3.9435648520559177]
  フェデレートされたドメイン適応(FDA)は、ソースクライアント(ドメイン)から関連するが異なるターゲットクライアントに知識を協調的に転送することを目的としています。 我々は、bfコントラスト学習と視覚変換器(ViT)に基づくbfフェデレーションbfドメインbf適応に対処することを目的とした、FDACというモデルベース手法を提案する。 我々の知る限りでは、FDACはViTの潜在アーキテクチャをフェデレートされた環境下で操作することで、転送可能な表現を学習する最初の試みである。
  論文  参考訳（メタデータ） (2023-05-07T23:48:03Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Model-based Deep Learning Receiver Design for Rate-Splitting Multiple Access [65.21117658030235]
  本研究では,モデルベース深層学習(MBDL)に基づく実用的なRSMA受信機の設計を提案する。 MBDL受信機は、符号なしシンボル誤り率(SER)、リンクレベルシミュレーション(LLS)によるスループット性能、平均トレーニングオーバーヘッドの観点から評価される。 その結果,MBDLはCSIRが不完全なSIC受信機よりも優れていた。
  論文  参考訳（メタデータ） (2022-05-02T12:23:55Z)
• FedDANE: A Federated Newton-Type Method [49.9423212899788]
  フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。 我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
  論文  参考訳（メタデータ） (2020-01-07T07:44:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。