論文の概要: An Efficient Subspace Algorithm for Federated Learning on Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2509.05213v1
• Date: Fri, 05 Sep 2025 16:15:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.650162
• Title: An Efficient Subspace Algorithm for Federated Learning on Heterogeneous Data
• Title（参考訳）: 不均一データに基づくフェデレーション学習のための効率的な部分空間アルゴリズム
• Authors: Jiaojiao Zhang, Yuqi Xu, Kun Yuan,
• Abstract要約: FedSubは、異種データのフェデレーション学習のための効率的なサブスペースアルゴリズムである。 本研究では,ステップサイズや部分空間射影行列などの重要な因子が収束に与える影響を明らかにする収束解析を行う。
• 参考スコア（独自算出の注目度）: 10.941763617439962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work addresses the key challenges of applying federated learning to large-scale deep neural networks, particularly the issue of client drift due to data heterogeneity across clients and the high costs of communication, computation, and memory. We propose FedSub, an efficient subspace algorithm for federated learning on heterogeneous data. Specifically, FedSub utilizes subspace projection to guarantee local updates of each client within low-dimensional subspaces, thereby reducing communication, computation, and memory costs. Additionally, it incorporates low-dimensional dual variables to mitigate client drift. We provide convergence analysis that reveals the impact of key factors such as step size and subspace projection matrices on convergence. Experimental results demonstrate its efficiency.
• Abstract（参考訳）: この研究は、大規模なディープニューラルネットワークにフェデレーション学習を適用する際の重要な課題、特にクライアント間のデータ不均一性や通信、計算、メモリの高コストによるクライアントのドリフトの問題に対処する。 ヘテロジニアスデータのフェデレーション学習のための,効率的なサブスペースアルゴリズムであるFedSubを提案する。 具体的には、FedSubはサブスペースプロジェクションを使用して、低次元のサブスペース内の各クライアントのローカル更新を保証し、通信、計算、メモリコストを削減します。 さらに、クライアントのドリフトを軽減するために低次元の二重変数も組み込まれている。 本研究では,ステップサイズや部分空間射影行列などの重要な因子が収束に与える影響を明らかにする収束解析を行う。 実験の結果は効率性を示している。

関連論文リスト

• Edge-device Collaborative Computing for Multi-view Classification [9.047284788663776]
  エッジノードとエンドデバイスが相関データと推論計算負荷を共有するエッジでの協調推論について検討する。 本稿では,データ冗長性を効果的に低減し,帯域幅の消費を削減できる選択手法を提案する。 実験結果から、選択的な協調スキームは上記の性能指標間で異なるトレードオフを達成できることが示された。
  論文  参考訳（メタデータ） (2024-09-24T11:07:33Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Subspace based Federated Unlearning [75.90552823500633]
  フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。 既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。 そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T04:29:44Z)
• Personalized Decentralized Multi-Task Learning Over Dynamic Communication Graphs [59.96266198512243]
  本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。 本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。 合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-21T18:58:24Z)
• On the effectiveness of partial variance reduction in federated learning with heterogeneous data [27.527995694042506]
  クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。 そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。 同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
  論文  参考訳（メタデータ） (2022-12-05T11:56:35Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Sample-based and Feature-based Federated Learning via Mini-batch SSCA [18.11773963976481]
  本稿ではサンプルベースおよび特徴ベース連合最適化について検討する。 提案アルゴリズムは,モデルアグリゲーション機構を通じてデータプライバシを保持できることを示した。 また,提案アルゴリズムは,各フェデレーション最適化問題のKarush-Kuhn-Tucker点に収束することを示した。
  論文  参考訳（メタデータ） (2021-04-13T08:23:46Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• A Theoretical Perspective on Differentially Private Federated Multi-task Learning [12.935153199667987]
  プライバシーとユーティリティの両方に関して、協調学習モデルを開発する必要がある。 本稿では,クライアントレベルで保護する効果的なパラメータ転送差分プライバシーのための,新しいフェデレーションマルチタスクを提案する。 このような提案されたアルゴリズムに対して、プライバシユーティリティの両方の保証を提供するのは、当社が初めてです。
  論文  参考訳（メタデータ） (2020-11-14T00:53:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。