論文の概要: Heterogeneous Federated Learning with Prototype Alignment and Upscaling

• arxiv url: http://arxiv.org/abs/2507.04310v1
• Date: Sun, 06 Jul 2025 09:34:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.11486
• Title: Heterogeneous Federated Learning with Prototype Alignment and Upscaling
• Title（参考訳）: プロトタイプアライメントとアップスケーリングによる不均一なフェデレーション学習
• Authors: Gyuejeong Lee, Jihwan Shin, Daeyoung Choi,
• Abstract要約: Prototype Normalization (ProtoNorm) は、最適化されたプロトタイプ分離に対処する新しいPBFLフレームワークである。 提案手法はプロトタイプを分離し,既存のHtFL手法より一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.7373617024876724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Heterogeneity in data distributions and model architectures remains a significant challenge in federated learning (FL). Various heterogeneous FL (HtFL) approaches have recently been proposed to address this challenge. Among them, prototype-based FL (PBFL) has emerged as a practical framework that only shares per-class mean activations from the penultimate layer. However, PBFL approaches often suffer from suboptimal prototype separation, limiting their discriminative power. We propose Prototype Normalization (ProtoNorm), a novel PBFL framework that addresses this limitation through two key components: Prototype Alignment (PA) and Prototype Upscaling (PU). The PA method draws inspiration from the Thomson problem in classical physics, optimizing global prototype configurations on a unit sphere to maximize angular separation; subsequently, the PU method increases prototype magnitudes to enhance separation in Euclidean space. Extensive evaluations on benchmark datasets show that our approach better separates prototypes and thus consistently outperforms existing HtFL approaches. Notably, since ProtoNorm inherits the communication efficiency of PBFL and the PA is performed server-side, it is particularly suitable for resource-constrained environments.
• Abstract（参考訳）: データ分散とモデルアーキテクチャにおける不均一性は、連邦学習(FL)において重要な課題である。 この課題に対処するために、様々な異種FL(HtFL)アプローチが最近提案されている。 それらの中で、プロトタイプベースのFL(PBFL)は、クラスごとの平均的なアクティベーションだけを共有するための実践的なフレームワークとして登場した。 しかし、PBFLアプローチは、しばしば準最適プロトタイプ分離に悩まされ、識別能力が制限される。 本稿では,プロトタイプ正規化(Prototype Normalization, ProtoNorm)を提案する。プロトタイプ正規化(Prototype Alignment, PA)とプロトタイプアップスケーリング(Prototype Upscaling, PU)という2つの重要なコンポーネントによって,この制限に対処する新しいPBFLフレームワークである。 PA法は、古典物理学におけるトムソン問題からインスピレーションを得て、単位球面上のグローバルなプロトタイプ構成を最適化し、角分離を最大化する。 ベンチマークデータセットの大規模な評価は、我々のアプローチがプロトタイプを分離し、既存のHtFLアプローチよりも一貫して優れていることを示している。 特に、ProtoNormはPBFLの通信効率を継承し、PAはサーバ側で行われるため、特にリソース制約のある環境に適している。

関連論文リスト

• TinyProto: Communication-Efficient Federated Learning with Sparse Prototypes in Resource-Constrained Environments [0.8287206589886879]
  統合学習(FL)におけるコミュニケーション効率は、資源制約のある環境において重要な課題である。 本稿では,CPS(Class-wise Prototype Sparsification)と適応型プロトタイプスケーリングを通じて,これらの制約に対処するTinyProtoを提案する。 実験の結果,TinyProtoは既存の手法に比べて通信コストを最大4倍に削減できることがわかった。
  論文  参考訳（メタデータ） (2025-07-06T10:24:33Z)
• Robust Federated Learning on Edge Devices with Domain Heterogeneity [13.362209980631876]
  Federated Learning (FL)は、分散エッジデバイス間のデータプライバシを確保しながら、協調的なトレーニングを可能にする。 本稿では,FLグローバルモデルの一般化能力を向上させることにより,この問題に対処する新しいフレームワークを提案する。 特徴の多様性とモデルロバスト性を高めるために,プロトタイプベースのFLフレームワークであるFedAPCを紹介する。
  論文  参考訳（メタデータ） (2025-05-15T09:53:14Z)
• FedORGP: Guiding Heterogeneous Federated Learning with Orthogonality Regularization on Global Prototypes [31.93057335216804]
  フェデレートラーニング(FL)は、分散機械学習に不可欠なフレームワークとして登場した。 現在のアプローチでは、クラスを分離する際の制限に直面している。 本稿では,クラス内プロトタイプの類似性を奨励し,クラス間角分離を拡大するFedtFLORGを紹介する。
  論文  参考訳（メタデータ） (2025-02-22T07:02:51Z)
• Sequential Compression Layers for Efficient Federated Learning in Foundational Models [2.6733991338938026]
  そこで我々は,LoRAに依存しない,新しい,シンプルで,より効率的なパラメータ効率の微調整法を提案する。 このソリューションは、連合型微調整におけるLoRAに関連するボトルネックに対処し、最近のLoRAベースのアプローチより優れている。
  論文  参考訳（メタデータ） (2024-12-09T22:06:47Z)
• A-FedPD: Aligning Dual-Drift is All Federated Primal-Dual Learning Needs [57.35402286842029]
  本稿では,グローバルクライアントとローカルクライアントの仮想二重配向を構成する新しいアラインドデュアルデュアル(A-FedPD)手法を提案する。 本稿では,A-FedPD方式の非集中型セキュリティコンセンサスに対する効率を包括的に分析する。
  論文  参考訳（メタデータ） (2024-09-27T17:00:32Z)
• Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences [49.14535254003683]
  本稿では,機械学習におけるマルチタスクトレードオフに対処するパラメータ効率の高い新しい手法PaLoRAを紹介する。 実験の結果、PaLoRAは様々なデータセットで最先端のMTLとPFLのベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-07-10T21:25:51Z)
• Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
  VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。 サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。 新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
  論文  参考訳（メタデータ） (2022-09-30T17:59:27Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)
• Hybrid Federated Learning: Algorithms and Implementation [61.0640216394349]
  Federated Learning(FL)は、分散データセットとプライベートデータセットを扱う分散機械学習パラダイムである。 ハイブリッドFLのためのモデルマッチングに基づく新しい問題定式化を提案する。 次に,グローバルモデルとローカルモデルを協調して学習し,完全かつ部分的な特徴量を扱う効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-22T23:56:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。