論文の概要: Communication-Efficient Personalized Adaptation via Federated-Local Model Merging

• arxiv url: http://arxiv.org/abs/2602.18658v1
• Date: Fri, 20 Feb 2026 23:29:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.226047
• Title: Communication-Efficient Personalized Adaptation via Federated-Local Model Merging
• Title（参考訳）: フェデレーションローカルモデルマージによるコミュニケーション効率の良いパーソナライズ適応
• Authors: Yinan Zou, Md Kamran Chowdhury Shisher, Christopher G. Brinton, Vishrant Tripathi,
• Abstract要約: ポタラは連邦化された個人化のための原則化された枠組みである。 2つの補完モデルを統合することで、クライアント毎にパーソナライズされたモデルを構築する。 ビジョンと言語ベンチマークの実験は、Potaraがコミュニケーションを減らしながらパーソナライズを継続的に改善していることを示している。
• 参考スコア（独自算出の注目度）: 24.80216233896655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning methods, such as LoRA, offer a practical way to adapt large vision and language models to client tasks. However, this becomes particularly challenging under task-level heterogeneity in federated deployments. In this regime, personalization requires balancing general knowledge with personalized knowledge, yet existing approaches largely rely on heuristic mixing rules and lack theoretical justification. Moreover, prior model merging approaches are also computation and communication intensive, making the process inefficient in federated settings. In this work, we propose Potara, a principled framework for federated personalization that constructs a personalized model for each client by merging two complementary models: (i) a federated model capturing general knowledge, and (ii) a local model capturing personalized knowledge. Through the construct of linear mode connectivity, we show that the expected task loss admits a variance trace upper bound, whose minimization yields closed-form optimal mixing weights that guarantee a tighter bound for the merged model than for either the federated or local model alone. Experiments on vision and language benchmarks show that Potara consistently improves personalization while reducing communication, leading to a strong performance-communication trade-off.
• Abstract（参考訳）: LoRAのようなパラメータ効率のよい微調整手法は、大きなビジョンと言語モデルをクライアントタスクに適応させる実用的な方法を提供する。 しかし、これはフェデレートされたデプロイメントにおいてタスクレベルの不均一性の下で特に困難になる。 この体制では、パーソナライゼーションは一般知識とパーソナライズされた知識のバランスを必要とするが、既存のアプローチはヒューリスティックな混合規則に大きく依存し、理論的な正当化を欠いている。 さらに、事前のモデルマージアプローチも計算と通信に重きを置いており、フェデレートされた設定ではプロセスの効率が悪くなる。 本稿では,2つの補完モデルを組み合わせることで,クライアント毎にパーソナライズされたモデルを構築する,フェデレーション・パーソナライズのための原則的フレームワークであるPotaraを提案する。 一 一般知識を捉えた連合モデル、及び (二)パーソナライズされた知識を捉えた地域モデル。 線形モード接続の構成により、期待されたタスク損失は、分散トレース上界を許容し、最小化は、フェデレートまたは局所モデル単独よりも、マージされたモデルに対して厳密なバインドを保証する閉形式最適混合重みを生じることを示す。 ビジョンと言語ベンチマークの実験は、Potaraがコミュニケーションを減らしながらパーソナライズを継続的に改善し、パフォーマンスコミュニケーションのトレードオフが強まることを示している。

関連論文リスト

• NAN: A Training-Free Solution to Coefficient Estimation in Model Merging [61.36020737229637]
  最適なマージ重み付けは,各モデルに符号化されたタスク固有情報の量とともにスケールする必要があることを示す。 パラメータノルムの逆数を用いてモデルマージ係数を推定する,単純で効果的な手法であるNANを提案する。 NANはトレーニングフリーで、プラグアンドプレイで、幅広いマージ戦略に適用できる。
  論文  参考訳（メタデータ） (2025-05-22T02:46:08Z)
• Not All Clients Are Equal: Collaborative Model Personalization on Heterogeneous Multi-Modal Clients [59.52341877720199]
  計算コストを伴わずに異種アーキテクチャ間の知識共有を可能にするFedMosaicを提案する。 実世界のタスクの多様性を模倣するために,40の異なるタスクにまたがるマルチモーダルPFLベンチマークを提案する。 実証研究は、FedMosaicが最先端のPFL法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-05-20T09:17:07Z)
• Decentralized Directed Collaboration for Personalized Federated Learning [39.29794569421094]
  我々は分散トレーニングモデル計算を行う分散パーソナライズドラーニング(DPFL)に集中する。 我々は, textbfDecentralized textbfFederated textbfPartial textbfGradient textbfPedGP を組み込んだ協調型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-28T06:52:19Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• PersA-FL: Personalized Asynchronous Federated Learning [1.1838866556981258]
  非同期更新下での個人化学習問題について検討する。 この問題では、各クライアントは、ローカルモデルとグローバルモデルとを同時に上回るパーソナライズされたモデルを求めます。 パーソナライズのための最適化ベースのフレームワークを2つ検討する。
  論文  参考訳（メタデータ） (2022-10-03T18:44:28Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Adaptive Personalized Federated Learning [20.80073507382737]
  フェデレーション学習アルゴリズムにおけるパーソナライゼーションの度合いの調査では、グローバルモデルの性能を最大化するだけで、ローカルモデルのパーソナライズ能力をトレーニングできることが示されている。
  論文  参考訳（メタデータ） (2020-03-30T13:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。