論文の概要: FedFiOT: Fisher-Weighted Optimal Transport for Model Merging in One-Shot and Few-Round Federated Learning
- arxiv url: http://arxiv.org/abs/2611.06783v1
- Date: Wed, 04 Nov 2026 16:56:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.210616
- Title: FedFiOT: Fisher-Weighted Optimal Transport for Model Merging in One-Shot and Few-Round Federated Learning
- Title(参考訳): FedFiOT:1ショットと2ラウンドのフェデレーション学習におけるモデルマージのための釣り重み付き最適輸送
- Abstract要約: ワンショットおよび数ラウンドのフェデレーションラーニング(FL)は、1回または数回の通信ラウンドでグローバルモデルを構築することで通信負担を軽減する。
本稿では,FedFiOTを提案する。FedFiOTはFedFiOTが一発・小発のFLを実現するための最適なトランスポートフレームワークである。
複数のデータセットに対する実験では、ワンショットと数ラウンドのFLで競合するベースラインよりも一貫した改善が示されている。
- 参考スコア(独自算出の注目度): 10.628529343397949
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: One-shot and few-round federated learning (FL) reduce communication burden by constructing a global model within one or a few communication rounds, but often achieve lower performance than conventional multi-round FL. Without frequent synchronization, client models may drift apart, causing neurons that learn similar features to occupy different positions across clients. At the same time, local data heterogeneity can cause corresponding parameters to differ in their importance to each client's predictions. Together, these challenges cause direct averaging to combine mismatched neurons and assign equal weight to parameters despite differences in their importance. We propose FedFiOT, a Fisher-weighted optimal transport framework for one-shot and few-round FL that leverages Fisher information to quantify parameter importance and guide neuron alignment and model aggregation. FedFiOT jointly optimizes neuron correspondences and global model parameters through alternating minimization of a shared Fisher-weighted objective. Theoretically, we show that FedFiOT's optimization procedure monotonically decreases the layer-wise merging objective and establish a stationarity bound that quantifies the effects of client heterogeneity and nonuniform Fisher weighting.Experiments across multiple datasets demonstrate consistent improvements over competing baselines in both one-shot and few-round federated learning settings.
- Abstract(参考訳): ワンショットおよび数ラウンドのフェデレーションラーニング(FL)は1回または数回の通信ラウンドでグローバルモデルを構築することで通信負担を軽減するが、従来のマルチラウンドFLよりも性能が低い場合が多い。
頻繁な同期がなければ、クライアントモデルはバラバラになり、類似した特徴を学習するニューロンがクライアント間で異なる位置を占めるようになる。
同時に、ローカルデータの不均一性は、それぞれのクライアントの予測に、対応するパラメータが重要性の違いを引き起こす可能性がある。
これらの課題が組み合わさって、直接平均化は、その重要性の違いにもかかわらず、ミスマッチしたニューロンを結合し、パラメータに等しく重みを割り当てる。
本稿では、FedFiOTを提案する。FedFiOTは、FedFiOTのパラメータの重要度を定量化し、ニューロンアライメントとモデルアグリゲーションを導くために、Fisher情報を活用する一発かつ少ラウンドのFLのための最適なトランスポートフレームワークである。
FedFiOTは、共有フィッシャー重み付け目標の交互最小化により、ニューロンの対応とグローバルモデルパラメータを共同で最適化する。
理論的には、FedFiOTの最適化手法はレイヤーワイドマージ目的を単調に減らし、クライアントの不均一性と非一様フィッシャー重み付けの効果を定量化する固定性境界を確立する。
関連論文リスト
- Fisher-Informed Parameterwise Aggregation for Federated Learning with Heterogeneous Data [3.7661886858419735]
フェデレーション学習は、分散クライアントからのモデル更新を集約する。
FedAvgのような標準のファーストオーダーメソッドは、各クライアントのすべてのパラメータに同じスカラーウェイトを適用します。
論文 参考訳(メタデータ) (2026-01-20T05:18:09Z) - FedAPM: Federated Learning via ADMM with Partial Model Personalization [12.72555825043549]
FL(Federated Learning)では、異なるデバイスからのデータセットが独立であり、同じ分散(すなわち、同じ分散)であるという仮定は、ユーザ差によって保持されないことが多い。
本稿では、FedAPMと呼ばれる乗算器の交互方向法(ADMM)に基づくFLフレームワークを提案し、クライアントのドリフトを緩和する。
論文 参考訳(メタデータ) (2025-06-05T06:38:29Z) - Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。
OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
論文 参考訳(メタデータ) (2025-01-06T21:16:51Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳(メタデータ) (2024-04-29T05:55:23Z) - Parametric Feature Transfer: One-shot Federated Learning with Foundation
Models [14.97955440815159]
ワンショットのフェデレーション学習では、クライアントは単一のコミュニケーションでグローバルモデルを協調的にトレーニングする。
本稿では,基礎モデルの転送可能性を利用してワンショットFLの精度と通信効率を向上させる手法であるFedPFTを紹介する。
論文 参考訳(メタデータ) (2024-02-02T19:34:46Z) - Federated Deep Equilibrium Learning: Harnessing Compact Global Representations to Enhance Personalization [23.340237814344377]
Federated Learning(FL)は、クライアントがデータを交換することなくグローバルモデルを協調的にトレーニングできる、画期的な分散学習パラダイムとして登場した。
FeDEQは,高効率なパーソナライズのために,コンパクトなグローバルデータ表現を利用するために,深い平衡学習とコンセンサス最適化を取り入れた新しいFLフレームワークである。
FeDEQは,訓練中の通信サイズを最大4倍,メモリフットプリントを1.5倍に削減しつつ,最先端のパーソナライズされたFL法の性能に適合することを示した。
論文 参考訳(メタデータ) (2023-09-27T13:48:12Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Federated Learning under Heterogeneous and Correlated Client
Availability [10.05687757555923]
本稿では,FedAvg-like FLアルゴリズムに対する不均一かつ相関のあるクライアント可用性下での最初の収束解析について述べる。
本稿では,収束速度の最大化とモデルバイアスの最小化という相反する目標のバランスをとろうとする新しいFLアルゴリズムCA-Fedを提案する。
実験の結果,CA-Fedは最先端のAdaFedやF3ASTよりも時間平均精度が高く,標準偏差も低いことがわかった。
論文 参考訳(メタデータ) (2023-01-11T18:38:48Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Tackling the Objective Inconsistency Problem in Heterogeneous Federated
Optimization [93.78811018928583]
本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。
我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
論文 参考訳(メタデータ) (2020-07-15T05:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。