論文の概要: Why Federated Optimization Fails to Achieve Perfect Fitting? A Theoretical Perspective on Client-Side Optima

• arxiv url: http://arxiv.org/abs/2511.00469v1
• Date: Sat, 01 Nov 2025 09:31:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.79228
• Title: Why Federated Optimization Fails to Achieve Perfect Fitting? A Theoretical Perspective on Client-Side Optima
• Title（参考訳）: フェデレーション最適化が不完全化に失敗した理由 : クライアント側最適化の理論的視点
• Authors: Zhongxiang Lei, Qi Yang, Ping Qiu, Gang Zhang, Yuanchi Ma, Jinyan Liu,
• Abstract要約: 本稿は、なぜこのような劣化が起こるのかを説明する理論的な視点を提供する。 異種クライアントデータが異なる局所最適化につながるという仮定を導入する。 この仮定は,1) クライアントの局所的最適距離が,全クライアントデータの完全整合性を高めること,2) 最終訓練段階では,グローバルモデルが単一最適値に収束する代わりに領域内で振動し,データを完全に整合する能力を制限すること,の2つの重要な結果を示す。
• 参考スコア（独自算出の注目度）: 6.77158446020776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated optimization is a constrained form of distributed optimization that enables training a global model without directly sharing client data. Although existing algorithms can guarantee convergence in theory and often achieve stable training in practice, the reasons behind performance degradation under data heterogeneity remain unclear. To address this gap, the main contribution of this paper is to provide a theoretical perspective that explains why such degradation occurs. We introduce the assumption that heterogeneous client data lead to distinct local optima, and show that this assumption implies two key consequences: 1) the distance among clients' local optima raises the lower bound of the global objective, making perfect fitting of all client data impossible; and 2) in the final training stage, the global model oscillates within a region instead of converging to a single optimum, limiting its ability to fully fit the data. These results provide a principled explanation for performance degradation in non-iid settings, which we further validate through experiments across multiple tasks and neural network architectures. The framework used in this paper is open-sourced at: https://github.com/NPCLEI/fedtorch.
• Abstract（参考訳）: フェデレーション最適化は、クライアントデータを直接共有することなくグローバルモデルのトレーニングを可能にする分散最適化の制約のある形式である。 既存のアルゴリズムは理論上の収束を保証でき、実際は安定したトレーニングを達成できるが、データの不均一性による性能劣化の背景には、まだ不明な点がある。 このギャップに対処するために、本稿の主な貢献は、なぜこのような劣化が起こるのかを説明する理論的視点を提供することである。 ヘテロジニアスなクライアントデータが異なる局所最適化をもたらすという仮定を導入し、この仮定が2つの重要な結果をもたらすことを示す。 1) クライアントのローカル・オプティマ間の距離は、全クライアントデータの完全適合を不可能にし、グローバル・オブジェクトの下位限を上昇させる。 2) 最終トレーニング段階では,グローバルモデルは1つの最適値に収束するのではなく,領域内で振動し,データを完全に適合させる能力を制限する。 これらの結果は、複数のタスクやニューラルネットワークアーキテクチャの実験を通じてさらに検証する、非ID設定のパフォーマンス劣化に関する原則的な説明を提供する。 この論文で使用されるフレームワークは、https://github.com/NPCLEI/fedtorch.comでオープンソース化されている。

関連論文リスト

• Client Selection in Federated Learning with Data Heterogeneity and Network Latencies [19.161254709653914]
  Federated Learning(FL)は、複数のクライアントがプライベートデータに基づいてローカルトレーニングを行う分散機械学習パラダイムである。 本稿では,両不均一性を扱う理論的に最適なクライアント選択方式を2つ提案する。
  論文  参考訳（メタデータ） (2025-04-02T17:31:15Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous Federated Learning [9.975023463908496]
  Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。 本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。 我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
  論文  参考訳（メタデータ） (2023-05-31T07:00:42Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Fair and Consistent Federated Learning [48.19977689926562]
  フェデレートラーニング(FL)は、分散データソースから学習する能力に対する関心が高まっている。 本稿では,異なるローカルクライアント間で性能整合性とアルゴリズムフェアネスを協調的に検討するFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-19T01:56:08Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。