論文の概要: FedPromo: Federated Lightweight Proxy Models at the Edge Bring New Domains to Foundation Models

• arxiv url: http://arxiv.org/abs/2508.03356v1
• Date: Tue, 05 Aug 2025 12:00:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:55.943231
• Title: FedPromo: Federated Lightweight Proxy Models at the Edge Bring New Domains to Foundation Models
• Title（参考訳）: FedPromo: エッジのフェデレーション軽量プロキシモデルがファンデーションモデルに新たなドメインをもたらす
• Authors: Matteo Caligiuri, Francesco Barbato, Donald Shenaj, Umberto Michieli, Pietro Zanuttigh,
• Abstract要約: Federated Learning(FL)は、分散データ上でディープラーニングモデルをトレーニングするための確立したパラダイムである。 我々はFedPromoを紹介した。FedPromoは、中央サーバに格納された大規模基盤モデルの、リモートクライアントのみにのみ遭遇する新しいドメインへの効率的な適応を可能にする新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 16.83959862897466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is an established paradigm for training deep learning models on decentralized data. However, as the size of the models grows, conventional FL approaches often require significant computational resources on client devices, which may not be feasible. We introduce FedPromo, a novel framework that enables efficient adaptation of large-scale foundation models stored on a central server to new domains encountered only by remote clients. Instead of directly training the large model on client devices, FedPromo optimizes lightweight proxy models via FL, significantly reducing computational overhead while maintaining privacy. Our method follows a two-stage process: first, server-side knowledge distillation aligns the representations of a large-scale foundation model (e.g., a transformer) with those of a compact counterpart (e.g., a CNN). Then, the compact model encoder is deployed to client devices, where trainable classifiers are learned locally. These classifiers are subsequently aggregated and seamlessly transferred back to the foundation model, facilitating personalized adaptation without requiring direct access to user data. Through novel regularization strategies, our framework enables decentralized multi-domain learning, balancing performance, privacy, and resource efficiency. Extensive experiments on five image classification benchmarks demonstrate that FedPromo outperforms existing methods while assuming limited-resource clients.
• Abstract（参考訳）: Federated Learning(FL)は、分散データ上でディープラーニングモデルをトレーニングするための確立したパラダイムである。 しかし、モデルのサイズが大きくなるにつれて、従来のFLアプローチはクライアントデバイス上で重要な計算資源を必要とすることが多く、実現不可能である。 我々はFedPromoを紹介した。FedPromoは、中央サーバに格納された大規模基盤モデルの、リモートクライアントのみにのみ遭遇する新しいドメインへの効率的な適応を可能にする新しいフレームワークである。 クライアントデバイス上で大きなモデルを直接トレーニングする代わりに、FedPromoはFLを介して軽量プロキシモデルを最適化し、プライバシを維持しながら計算オーバーヘッドを大幅に削減する。 まず、サーバ側の知識蒸留は、大規模な基礎モデル(例えば、変圧器)とコンパクトな基礎モデル(例えば、CNN)の表現を一致させる。 次に、コンパクトモデルエンコーダをクライアントデバイスにデプロイし、トレーニング可能な分類器をローカルに学習する。 これらの分類器はその後集約され、ユーザーデータに直接アクセスすることなくパーソナライズされた適応を容易にする基礎モデルにシームレスに転送される。 新たな正規化戦略を通じて、我々のフレームワークは分散化されたマルチドメイン学習、パフォーマンス、プライバシ、リソース効率のバランスを可能にする。 5つの画像分類ベンチマークの大規模な実験は、FedPromoが限られたリソースクライアントを仮定しながら既存の手法より優れていることを示している。

関連論文リスト

• FedConv: A Learning-on-Model Paradigm for Heterogeneous Federated Clients [25.847042398060616]
  フェデレートラーニング(FL)は、クライアントのプライベートデータを公開せずに、共有グローバルモデルの協調トレーニングを容易にする。 我々は、リソース制約のあるクライアントの計算とメモリ負荷を最小限に抑えるクライアントフレンドリーなFLフレームワークであるFedConvを提案する。 モデル精度,計算量,通信オーバヘッドの観点から,FedConvは最先端のFLシステムより優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-28T01:39:53Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Personalized Hierarchical Split Federated Learning in Wireless Networks [24.664469755746463]
  本稿では、パーソナライズ性能の向上を目的とした、パーソナライズされた階層分割型フェデレーション学習(PHSFL)アルゴリズムを提案する。 まず、モデル分割と階層モデル集約がグローバルモデルに与える影響を理解するために、広範囲な理論的解析を行う。 グローバルモデルがトレーニングされると、各クライアントを微調整してパーソナライズされたモデルを取得します。
  論文  参考訳（メタデータ） (2024-11-09T02:41:53Z)
• One-Shot Heterogeneous Federated Learning with Local Model-Guided Diffusion Models [40.83058938096914]
  FedLMGは局所モデル誘導拡散モデルを用いた単発フェデレーション学習法である。 クライアントはファンデーションモデルにアクセスする必要はなく、ローカルモデルのトレーニングとアップロードのみを行う。
  論文  参考訳（メタデータ） (2023-11-15T11:11:25Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Exploring Parameter-Efficient Fine-Tuning to Enable Foundation Models in Federated Learning [12.839398408791778]
  フェデレートラーニング(FL)は、ローカルデバイス上の生データに一元的にアクセスすることなく、モデルの協調的なトレーニングを可能にするための、有望なパラダイムとして登場した。 最近の最先端の事前訓練モデルは、より有能になりつつ、より多くのパラメータを持ち、"Foundation Models"として知られている。 FLでこれらの強力で手軽に利用できる事前訓練モデルが、通信負荷を同時に軽減しつつ、優れた性能を達成するためのソリューションを見つけることができるだろうか? 具体的には,FedPEFTの性能を,クライアントの安定性,データ分散,プライバシ設定の違いによって体系的に評価する。
  論文  参考訳（メタデータ） (2022-10-04T16:08:54Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• Personalized Retrogress-Resilient Framework for Real-World Medical Federated Learning [8.240098954377794]
  本稿では,各クライアントに対して優れたパーソナライズモデルを生成するために,パーソナライズされた回帰耐性フレームワークを提案する。 実世界の皮膚内視鏡的FLデータセットに関する実験により、我々のパーソナライズされた回帰抵抗性フレームワークが最先端のFL手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2021-10-01T13:24:29Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。