論文の概要: Towards a Larger Model via One-Shot Federated Learning on Heterogeneous Client Models

• arxiv url: http://arxiv.org/abs/2508.13625v1
• Date: Tue, 19 Aug 2025 08:35:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:31.851266
• Title: Towards a Larger Model via One-Shot Federated Learning on Heterogeneous Client Models
• Title（参考訳）: 不均一クライアントモデルを用いたワンショットフェデレーション学習による大規模モデルに向けて
• Authors: Wenxuan Ye, Xueli An, Onur Ayan, Junfan Wang, Xueqiang Yan, Georg Carle,
• Abstract要約: フェデレートラーニング(Federated Learning)は、分散化されたクライアントが、生データを送信せずにモデルパラメータを交換することで、共用モデルのトレーニングを可能にする。 我々は,より大規模で包括的なサーバモデルをワンショット設定で構築するFedOLを提案する。 これにより、完全なモデル重みの代わりにコンパクトな予測を送信することで通信オーバーヘッドを低減する。
• 参考スコア（独自算出の注目度）: 6.138533689454442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large models, renowned for superior performance, outperform smaller ones even without billion-parameter scales. While mobile network servers have ample computational resources to support larger models than client devices, privacy constraints prevent clients from directly sharing their raw data. Federated Learning (FL) enables decentralized clients to collaboratively train a shared model by exchanging model parameters instead of transmitting raw data. Yet, it requires a uniform model architecture and multiple communication rounds, which neglect resource heterogeneity, impose heavy computational demands on clients, and increase communication overhead. To address these challenges, we propose FedOL, to construct a larger and more comprehensive server model in one-shot settings (i.e., in a single communication round). Instead of model parameter sharing, FedOL employs knowledge distillation, where clients only exchange model prediction outputs on an unlabeled public dataset. This reduces communication overhead by transmitting compact predictions instead of full model weights and enables model customization by allowing heterogeneous model architectures. A key challenge in this setting is that client predictions may be biased due to skewed local data distributions, and the lack of ground-truth labels in the public dataset further complicates reliable learning. To mitigate these issues, FedOL introduces a specialized objective function that iteratively refines pseudo-labels and the server model, improving learning reliability. To complement this, FedOL incorporates a tailored pseudo-label generation and knowledge distillation strategy that effectively integrates diverse knowledge. Simulation results show that FedOL significantly outperforms existing baselines, offering a cost-effective solution for mobile networks where clients possess valuable private data but limited computational resources.
• Abstract（参考訳）: 優れた性能で有名な大型モデルは、数十億パラメートルのスケールでさえ、より小型のモデルより優れている。 モバイルネットワークサーバには、クライアントデバイスよりも大きなモデルをサポートするための計算リソースが豊富にあるが、プライバシの制約により、クライアントは生データを直接共有できない。 フェデレートラーニング(FL)により、分散クライアントは、生データを送信せずにモデルパラメータを交換することで、共有モデルを協調的にトレーニングすることができる。 しかし、リソースの不均一性を無視し、クライアントに重い計算要求を課し、通信オーバーヘッドを増大させる、統一的なモデルアーキテクチャと複数の通信ラウンドが必要である。 これらの課題に対処するため、我々はFedOLを提案し、より大きく包括的なサーバーモデルをワンショット設定(つまり単一の通信ラウンド)で構築する。 モデルパラメータ共有の代わりに、FedOLは知識蒸留を採用しており、クライアントはラベルのない公開データセットでモデル予測出力を交換するのみである。 これにより、完全なモデル重みの代わりにコンパクトな予測を送信することで通信オーバーヘッドを低減し、異種モデルアーキテクチャを許容することでモデルのカスタマイズを可能にする。 この設定における重要な課題は、クライアントの予測が、ゆがんだローカルデータ分散によってバイアスを受ける可能性があること、そして、パブリックデータセットに地味なラベルが欠如していることが、信頼性のある学習をさらに複雑にしていることだ。 これらの問題を緩和するため、FedOLは擬似ラベルとサーバモデルを反復的に洗練し、学習の信頼性を向上させる、特殊目的関数を導入した。 これを補完するために、FedOLは、多様な知識を効果的に統合する、カスタマイズされた擬似ラベル生成と知識蒸留戦略を取り入れている。 シミュレーションの結果、FedOLは既存のベースラインを大幅に上回り、クライアントが貴重なプライベートデータを持っているが計算資源が限られているモバイルネットワークに対して、費用対効果の高いソリューションを提供する。

関連論文リスト

• Not All Clients Are Equal: Personalized Federated Learning on Heterogeneous Multi-Modal Clients [52.14230635007546]
  ファンデーションモデルは多様なマルチモーダルタスクにまたがって顕著な能力を示してきたが、その集中的なトレーニングはプライバシーの懸念を高め、高い伝達コストを引き起こす。 異なるユーザー目的のためにAIモデルをパーソナライズする需要が高まっているため、パーソナライズされたフェデレーションラーニング(PFL)が出現している。 PFLは、各クライアントが他のクライアントの知識を活用して、データを共有することなく、個々のユーザの好みにさらに適応することを可能にする。
  論文  参考訳（メタデータ） (2025-05-20T09:17:07Z)
• FedMoE-DA: Federated Mixture of Experts via Domain Aware Fine-grained Aggregation [22.281467168796645]
  Federated Learning(FL)は、複数のクライアントがプライベートデータを共有せずにモデルをトレーニングできる、コラボレーティブな機械学習アプローチである。 我々は、新しいドメイン認識、きめ細かい集約戦略を取り入れた新しいFLモデルトレーニングフレームワークであるFedMoE-DAを提案し、ロバスト性、パーソナライズ性、通信効率を同時に向上する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:04Z)
• Federated Knowledge Transfer Fine-tuning Large Server Model with Resource-Constrained IoT Clients [10.305544603479163]
  我々は、モノのインターネットにおける大規模モデルのトレーニングを促進するために、KoALA(Federated Knowledge Transfer Fine-tuning Large Server Model with Resource-Constrained IoT Clients)を提案する。 フェデレートされた学習と知識の蒸留を利用して、小さなモデルとのコラボレーションを通じて大きなモデルを更新する。 また,本手法は,類似のトレーニング性能を実現するだけでなく,ローカルストレージやコンピュータパワーリソースの必要性を著しく低減する。
  論文  参考訳（メタデータ） (2024-07-07T05:46:01Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• One-Shot Heterogeneous Federated Learning with Local Model-Guided Diffusion Models [40.83058938096914]
  FedLMGは局所モデル誘導拡散モデルを用いた単発フェデレーション学習法である。 クライアントはファンデーションモデルにアクセスする必要はなく、ローカルモデルのトレーニングとアップロードのみを行う。
  論文  参考訳（メタデータ） (2023-11-15T11:11:25Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• FedNet2Net: Saving Communication and Computations in Federated Learning with Model Growing [0.0]
  フェデレート・ラーニング(Federated Learning, FL)は、最近開発された機械学習の分野である。 本稿では「モデル成長」の概念に基づく新しいスキームを提案する。 提案手法は3つの標準ベンチマークで広範囲に検証され、通信とクライアントの計算の大幅な削減を実現することが示されている。
  論文  参考訳（メタデータ） (2022-07-19T21:54:53Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。