論文の概要: FedGTST: Boosting Global Transferability of Federated Models via Statistics Tuning

• arxiv url: http://arxiv.org/abs/2410.13045v1
• Date: Wed, 16 Oct 2024 21:13:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:21:16.717456
• Title: FedGTST: Boosting Global Transferability of Federated Models via Statistics Tuning
• Title（参考訳）: FedGTST: 統計チューニングによるフェデレーションモデルのグローバルトランスファービリティ向上
• Authors: Evelyn Ma, Chao Pan, Rasoul Etesami, Han Zhao, Olgica Milenkovic,
• Abstract要約: Federated Learning(FL)は、クライアント間のコラボレーションを促進し、データセットを間接的に拡張し、計算コストを分散し、プライバシを保存することで、問題に対処する。 まず、クライアント-サーバ交換プロトコルを導入し、クロスクライアントのJacobianノルムを活用し、転送可能性を高める。 第2に、クライアント間の平均ジャコビアンノルムをサーバ上で増加させ、これを局所正規化器として使用して、クロスクライアントジャコビアン分散を低減する。
• 参考スコア（独自算出の注目度）: 26.093271475139417
• License:
• Abstract: The performance of Transfer Learning (TL) heavily relies on effective pretraining, which demands large datasets and substantial computational resources. As a result, executing TL is often challenging for individual model developers. Federated Learning (FL) addresses these issues by facilitating collaborations among clients, expanding the dataset indirectly, distributing computational costs, and preserving privacy. However, key challenges remain unresolved. First, existing FL methods tend to optimize transferability only within local domains, neglecting the global learning domain. Second, most approaches rely on indirect transferability metrics, which do not accurately reflect the final target loss or true degree of transferability. To address these gaps, we propose two enhancements to FL. First, we introduce a client-server exchange protocol that leverages cross-client Jacobian (gradient) norms to boost transferability. Second, we increase the average Jacobian norm across clients at the server, using this as a local regularizer to reduce cross-client Jacobian variance. Our transferable federated algorithm, termed FedGTST (Federated Global Transferability via Statistics Tuning), demonstrates that increasing the average Jacobian and reducing its variance allows for tighter control of the target loss. This leads to an upper bound on the target loss in terms of the source loss and source-target domain discrepancy. Extensive experiments on datasets such as MNIST to MNIST-M and CIFAR10 to SVHN show that FedGTST outperforms relevant baselines, including FedSR. On the second dataset pair, FedGTST improves accuracy by 9.8% over FedSR and 7.6% over FedIIR when LeNet is used as the backbone.
• Abstract（参考訳）: 転送学習(TL)の性能は、大規模なデータセットとかなりの計算資源を必要とする効果的な事前学習に大きく依存している。 結果として、個々のモデル開発者にとってTLの実行は難しいことが多い。 Federated Learning(FL)は、クライアント間のコラボレーションを促進し、データセットを間接的に拡張し、計算コストを分散し、プライバシを保存することで、これらの問題に対処する。 しかし、重要な課題は未解決のままである。 まず、既存のFL手法は、グローバルな学習領域を無視して、ローカルドメイン内でのみ転送可能性を最適化する傾向にある。 第二に、ほとんどのアプローチは、最終的な目標損失や真の転送可能性の程度を正確に反映しない間接転送可能性指標に依存している。 これらのギャップに対処するため、FLの2つの拡張を提案する。 まず、転送可能性を高めるためにクロスクライアントのJacobian(グラディエント)ノルムを活用するクライアントサーバ交換プロトコルを導入する。 第2に、クライアント間の平均ジャコビアンノルムをサーバ上で増加させ、これを局所正規化器として使用して、クロスクライアントジャコビアン分散を低減する。 FedGTST (Federated Global Transferability via Statistics Tuning) と呼ばれる我々の転送可能なフェデレーションアルゴリズムは、平均ジャコビアンの増加と分散の低減により、目標損失のより厳密な制御が可能であることを実証している。 これにより、ソース損失とソースターゲットドメインの不一致という観点で、ターゲット損失に上限が与えられる。 MNISTからMNIST-M、CIFAR10からSVHNへのデータセットの大規模な実験は、FedGTSTがFedSRを含む関連するベースラインを上回っていることを示している。 2つ目のデータセットペアでは、LeNetがバックボーンとして使用される場合、FedGTSTはFedSRよりも9.8%、FedIIRより7.6%精度が向上する。

関連論文リスト

• Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
  フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。 本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
  論文  参考訳（メタデータ） (2024-02-17T05:22:46Z)
• Risk-Aware Accelerated Wireless Federated Learning with Heterogeneous Clients [21.104752782245257]
  Wireless Federated Learning (FL)は、分散機械学習のパラダイムである。 本稿では,クライアントが保有するデータ量の不均一性を考慮したリスク認識型FLフレームワークを提案する。 提案されたスキームは、保守的なスキーム(すなわち、信頼できるデバイスのみを許可する)と攻撃的なスキーム(すなわち、信頼度を無視する)に対してベンチマークされる。
  論文  参考訳（メタデータ） (2024-01-17T15:15:52Z)
• Efficient Cross-Domain Federated Learning by MixStyle Approximation [0.3277163122167433]
  ハードウェア制約環境におけるクライアント適応のための,プライバシ保護,リソース効率の高いフェデレーション学習の概念を導入する。 このアプローチには、ソースデータに対するサーバモデル事前トレーニングと、ローエンドクライアントによるターゲットデータへの微調整が含まれる。 予備的な結果は,下流タスクにおける競合性能を維持しながら,計算コストと伝送コストを削減できることを示唆している。
  論文  参考訳（メタデータ） (2023-12-12T08:33:34Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
  フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。 本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
  論文  参考訳（メタデータ） (2023-06-28T18:52:27Z)
• PS-FedGAN: An Efficient Federated Learning Framework Based on Partially Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
  分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。 本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。 PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
  論文  参考訳（メタデータ） (2023-05-19T05:39:40Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
  本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。 効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
  論文  参考訳（メタデータ） (2022-10-14T08:11:34Z)
• FedFOR: Stateless Heterogeneous Federated Learning with First-Order Regularization [24.32029125031383]
  フェデレートラーニング(FL)は、集中型データセンタでデータを収集することなく、ローカルクライアントにモデルトレーニングを配布することを目指している。 本稿では,グローバルなデータ分布の局所的な目的への一階述語近似を提案し,グローバルな更新の反対方向に直感的に更新をペナルティ化する。 我々のアプローチはクライアントサイズに非現実的な制限を課しておらず、ほとんどのFLアプリケーションで典型的なような、多数のクライアントからの学習を可能にします。
  論文  参考訳（メタデータ） (2022-09-21T17:57:20Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。