論文の概要: Fisher-Informed Parameterwise Aggregation for Federated Learning with Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2601.13608v1
• Date: Tue, 20 Jan 2026 05:18:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.166147
• Title: Fisher-Informed Parameterwise Aggregation for Federated Learning with Heterogeneous Data
• Title（参考訳）: 不均一データを用いたフェデレーション学習のためのフィッシャーインフォームドパラメータワイズアグリゲーション
• Authors: Zhipeng Chang, Ting He, Wenrui Hao,
• Abstract要約: フェデレーション学習は、分散クライアントからのモデル更新を集約する。 FedAvgのような標準のファーストオーダーメソッドは、各クライアントのすべてのパラメータに同じスカラーウェイトを適用します。
• 参考スコア（独自算出の注目度）: 3.7661886858419735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning aggregates model updates from distributed clients, but standard first order methods such as FedAvg apply the same scalar weight to all parameters from each client. Under non-IID data, these uniformly weighted updates can be strongly misaligned across clients, causing client drift and degrading the global model. Here we propose Fisher-Informed Parameterwise Aggregation (FIPA), a second-order aggregation method that replaces client-level scalar weights with parameter-specific Fisher Information Matrix (FIM) weights, enabling true parameter-level scaling that captures how each client's data uniquely influences different parameters. With low-rank approximation, FIPA remains communication- and computation-efficient. Across nonlinear function regression, PDE learning, and image classification, FIPA consistently improves over averaging-based aggregation, and can be effectively combined with state-of-the-art client-side optimization algorithms to further improve image classification accuracy. These results highlight the benefits of FIPA for federated learning under heterogeneous data distributions.
• Abstract（参考訳）: フェデレーション学習は、分散クライアントからのモデル更新を集約するが、FedAvgのような標準のファーストオーダーメソッドは、各クライアントのすべてのパラメータに同じスカラー重みを適用している。 非IIDデータの下では、これらの一様に重み付けされた更新は、クライアント間で強くミスアライメントされ、クライアントのドリフトとグローバルモデルの劣化を引き起こします。 本稿では,2次集約法であるFisher-Informed Parameterwise Aggregation(FIPA)を提案する。これは,クライアントレベルのスカラー重みをパラメータ固有のFisher Information Matrix(FIM)重みに置き換えることによって,各クライアントのデータがどのように異なるパラメータに一意に影響を及ぼすかをキャプチャする真のパラメータレベルのスケーリングを可能にする。 低ランク近似では、FIPAは通信効率と計算効率を保っている。 非線形関数回帰、PDE学習、画像分類全般において、FIPAは平均化に基づくアグリゲーションよりも一貫して改善されており、最先端のクライアント側最適化アルゴリズムと効果的に組み合わせることで、画像分類の精度をさらに向上させることができる。 これらの結果は、異種データ分布下でのフェデレーション学習におけるFIPAの利点を浮き彫りにしている。

関連論文リスト

• FedReFT: Federated Representation Fine-Tuning with All-But-Me Aggregation [12.544628972135905]
  本稿では,クライアントの隠れ表現を微調整する新しい手法であるFederated Representation Fine-Tuning(FedReFT)を紹介する。 FedReFTは、隠された表現を直接操作するためにスパース介入層を適用し、軽量でセマンティックにリッチな微調整の代替を提供する。 We evaluate FedReFT on commonsense reasoning, arithmetic reasoning, instruction-tuning, and GLUE。
  論文  参考訳（メタデータ） (2025-08-27T22:03:19Z)
• FedAWA: Adaptive Optimization of Aggregation Weights in Federated Learning Using Client Vectors [50.131271229165165]
  Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。 ユーザの行動、好み、デバイス特性の相違から生じるデータの異質性は、連合学習にとって重要な課題である。 本稿では,学習過程におけるクライアントベクトルに基づくアダプティブ重み付けを適応的に調整する手法であるAdaptive Weight Aggregation (FedAWA)を提案する。
  論文  参考訳（メタデータ） (2025-03-20T04:49:40Z)
• Dual-Criterion Model Aggregation in Federated Learning: Balancing Data Quantity and Quality [0.0]
  フェデレートラーニング(FL)は、プライバシ保護のための協調学習の鍵となる方法の1つとなっている。 集約アルゴリズムは、システムの有効性と安全性を確保する上で最も重要なコンポーネントの1つとして認識される。 本研究では,クライアントノードからのデータ量と品質を含む新しい二項重み付けアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-12T14:09:16Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• Gradient Masked Averaging for Federated Learning [24.687254139644736]
  フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。 標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。 本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:42:43Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。