論文の概要: Subspace Optimization for Efficient Federated Learning under Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2604.25467v1
• Date: Tue, 28 Apr 2026 10:12:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.816792
• Title: Subspace Optimization for Efficient Federated Learning under Heterogeneous Data
• Title（参考訳）: 不均一データに基づく効率的なフェデレーション学習のための部分空間最適化
• Authors: Shuchen Zhu, Zhengyang Huang, Yuqi Xu, Peijin Li,
• Abstract要約: フェデレーション学習は、通信、メモリ、計算がほとんどない大規模なモデルシステムで動作する。 本稿では,フェデレートラーニング(SSF)のための部分空間最適化手法を提案する。 SSF は次数 $widetildemathcalO (1/T+1/sqrtNKT)$ の漸近率を得る。
• 参考スコア（独自算出の注目度）: 0.6999740786886536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning increasingly operates in a large-model regime where communication, memory, and computation are all scarce. Typically, non-IID client data induce drift that degrades the stability and performance of local training. Existing remedies such as SCAFFOLD introduce heterogeneity-correction mechanisms to address this challenge, but they incur substantial extra communication and memory overhead. This paper proposes a subspace optimization method for federated learning (SSF), which performs heterogeneity-corrected optimization in a low-dimensional subspace using only projected quantities, while preserving full-dimensional control information through a backfill-style update that retains residual components whenever the active subspace changes. Under standard smoothness and bounded-variance assumptions, SSF attains a non-asymptotic rate of order $\widetilde{\mathcal{O}}(1/T+1/\sqrt{NKT})$. Experiments show favorable accuracy--efficiency trade-offs under heterogeneous data.
• Abstract（参考訳）: フェデレーション学習は、コミュニケーション、メモリ、計算がほとんどない大規模なモデル体制でますます機能する。 通常、非IIDクライアントデータはドリフトを誘導し、ローカルトレーニングの安定性と性能を低下させる。 SCAFFOLDのような既存の治療法では、この課題に対処するために異質性補正機構を導入しているが、通信とメモリオーバーヘッドが大幅に増大している。 本稿では,低次元部分空間において,活性部分空間が変化するたびに残留成分を保持するバックフィル方式の更新により,全次元制御情報を保存しつつ,予測量のみを用いて不均一性補正を行うフェデレーション学習(SSF)のサブスペース最適化手法を提案する。 標準的な滑らかさと有界分散の仮定の下で、SSF は位数 $\widetilde{\mathcal{O}}(1/T+1/\sqrt{NKT})$ の非漸近速度を得る。 実験は、不均一なデータの下で、良好な精度-効率のトレードオフを示す。

関連論文リスト

• Consolidation or Adaptation? PRISM: Disentangling SFT and RL Data via Gradient Concentration [56.074760766965085]
  PRISMは、モデルの既存の知識との認知的対立度に基づいてデータを調停する動的認識フレームワークを実現する。 この結果から,内部最適化方式に基づくデータ分離が,スケーラブルでロバストなエージェントアライメントに不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-12T05:43:20Z)
• Efficient Federated Learning with Heterogeneous Data and Adaptive Dropout [62.73150122809138]
  Federated Learning(FL)は、複数のエッジデバイスを使用したグローバルモデルの協調トレーニングを可能にする、有望な分散機械学習アプローチである。 動的不均一モデルアグリゲーション(FedDH)と適応ドロップアウト(FedAD)の2つの新しい手法を備えたFedDHAD FLフレームワークを提案する。 これら2つの手法を組み合わせることで、FedDHADは精度(最大6.7%)、効率(最大2.02倍高速)、コスト(最大15.0%小型)で最先端のソリューションを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-07-14T16:19:00Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [14.321060805197874]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Handling Spatial-Temporal Data Heterogeneity for Federated Continual Learning via Tail Anchor [24.689188066180463]
  フェデレートされた連続学習(FCL)により、各クライアントはタスクストリームからその知識を継続的に更新することができる。 本稿では,訓練可能なタイルアンカーと凍結した出力特性を混合して特徴空間における位置を調節するフェデレートタイルアンカー (FedTA) を提案する。
  論文  参考訳（メタデータ） (2024-12-24T11:35:40Z)
• Learnable Sparse Customization in Heterogeneous Edge Computing [27.201987866208484]
  異種フェデレート学習(FedLPS)のための学習可能なパーソナライズ・スパシフィケーションを提案する。 FedLPSは、局所データ表現におけるモデルユニットの重要性を学び、パーソナライズされたデータ特徴を正確に抽出するために、最小限の重要度に基づくスパースパターンを導出する。 実験により、FedLPSは精度とトレーニングコストにおいてステータスクオアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-10T06:14:31Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。