論文の概要: Incentivizing Multi-Tenant Split Federated Learning for Foundation Models at the Network Edge

• arxiv url: http://arxiv.org/abs/2503.04971v1
• Date: Thu, 06 Mar 2025 21:06:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:23:03.501122
• Title: Incentivizing Multi-Tenant Split Federated Learning for Foundation Models at the Network Edge
• Title（参考訳）: ネットワークエッジにおける基礎モデルのためのマルチテナント分散学習のインセンティブ
• Authors: Songyuan Li, Jia Hu, Geyong Min, Haojun Huang,
• Abstract要約: Split Federated Learning (SFL)は、リソース制約のあるローカルデバイス上での、プライバシー保護のFM微調整を容易にする。 独立デバイス参加によるモデルバイアスを排除するため, バイアス耐性を持つグローバルSFLモデルアグリゲーション手法を開発した。 そこで,不均一デバイスによるFM性能向上への寄与を評価するために,厳密なSFL収束を導出する。
• 参考スコア（独自算出の注目度）: 27.21537609376923
• License:
• Abstract: Foundation models (FMs) such as GPT-4 exhibit exceptional generative capabilities across diverse downstream tasks through fine-tuning. Split Federated Learning (SFL) facilitates privacy-preserving FM fine-tuning on resource-constrained local devices by offloading partial FM computations to edge servers, enabling device-edge synergistic fine-tuning. Practical edge networks often host multiple SFL tenants to support diversified downstream tasks. However, existing research primarily focuses on single-tenant SFL scenarios, and lacks tailored incentive mechanisms for multi-tenant settings, which are essential to effectively coordinate self-interested local devices for participation in various downstream tasks, ensuring that each SFL tenant's distinct FM fine-tuning requirements (e.g., FM types, performance targets, and fine-tuning deadlines) are met. To address this gap, we propose a novel Price-Incentive Mechanism (PRINCE) that guides multiple SFL tenants to offer strategic price incentives, which solicit high-quality device participation for efficient FM fine-tuning. Specifically, we first develop a bias-resilient global SFL model aggregation scheme to eliminate model biases caused by independent device participation. We then derive a rigorous SFL convergence bound to evaluate the contributions of heterogeneous devices to FM performance improvements, guiding the incentive strategies of SFL tenants. Furthermore, we model inter-tenant device competition as a congestion game for Stackelberg equilibrium (SE) analysis, deriving each SFL tenant's optimal incentive strategy. Extensive simulations involving four representative SFL tenant types (ViT, BERT, Whisper, and LLaMA) across diverse data modalities (text, images, and audio) demonstrate that PRINCE accelerates FM fine-tuning by up to 3.07x compared to state-of-the-art approaches, while consistently meeting fine-tuning performance targets.
• Abstract（参考訳）: GPT-4のような基礎モデル(FM)は、微調整によって様々な下流タスクにまたがる例外的な生成能力を示す。 Split Federated Learning (SFL)は、部分的FM計算をエッジサーバにオフロードすることで、リソース制約のあるローカルデバイス上でのプライバシー保護FM微調整を容易にする。 現実的なエッジネットワークでは、様々な下流タスクをサポートする複数のSFLテナントをホストすることが多い。 しかし、既存の研究では、主にシングルテナントSFLシナリオに焦点を当てており、マルチテナント設定のための調整されたインセンティブメカニズムが欠如している。これは、様々なダウンストリームタスクに参加するために、効果的に自己関心のあるローカルデバイスをコーディネートし、各SFLテナントのFM微調整要求(例えば、FMタイプ、パフォーマンスターゲット、微調整期限)が満たされることを保証するのに不可欠である。 このギャップに対処するために、複数のSFLテナントに戦略的価格インセンティブを提供するための新しいPrice-Incentive Mechanism(PRINCE)を提案する。 具体的には、まず、独立デバイス参加によるモデルバイアスを排除するため、バイアス耐性を持つグローバルSFLモデルアグリゲーション手法を開発する。 次に,SFL テナントのインセンティブ戦略を導出し,FM 性能向上への異種機器の寄与を評価するために,厳密な SFL コンバージェンスを導出する。 さらに、我々は、各SFLテナントの最適インセンティブ戦略を導出し、テナント間デバイス競争をStackelberg平衡(SE)解析の混雑ゲームとしてモデル化する。 4種類のSFLテナントタイプ(ViT、BERT、Whisper、LLaMA)を多種多様なデータモダリティ(テキスト、画像、オーディオ)で包含する広範囲なシミュレーションにより、PRINCEは最先端のアプローチと比較してFM微調整を最大3.07倍加速し、微調整性能の目標を一貫して達成している。

関連論文リスト

• pFedWN: A Personalized Federated Learning Framework for D2D Wireless Networks with Heterogeneous Data [1.9188272016043582]
  従来のフェデレートラーニングアプローチは、クライアント間のデータの異質性に悩まされることが多い。 PFLは、非独立で同一の分散(非IID)とクライアント間のアンバランスなデータによって引き起こされる課題に対する解決策として現れます。 デバイス間通信(D2D)の無線チャネル条件をサーバフリーなPFLアプローチに組み込む共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-01-16T20:16:49Z)
• How Can Incentives and Cut Layer Selection Influence Data Contribution in Split Federated Learning? [49.16923922018379]
  スプリット・フェデレーション・ラーニング(SFL)は、フェデレーションとスプリット・ラーニングの利点を組み合わせることで、有望なアプローチとして登場した。 階層的意思決定手法を用いて,単一リーダマルチフォロワStackelbergゲームとして定式化された問題をモデル化する。 以上の結果から,Stackelberg平衡解はクライアントとSFLモデル所有者の両方の実用性を最大化することがわかった。
  論文  参考訳（メタデータ） (2024-12-10T06:24:08Z)
• Federated Transformer: Multi-Party Vertical Federated Learning on Practical Fuzzily Linked Data [27.073959939557362]
  ファジィ識別子を持つ多人数ファジィVFLをサポートする新しいフレームワークFeTを紹介する。 実験の結果,FeTは50個までスケールした場合の精度で,ベースラインモデルを最大46%超えることがわかった。 2パーティファジィなVFL設定では、FeTは最先端のVFLモデルよりもパフォーマンスとプライバシが改善されている。
  論文  参考訳（メタデータ） (2024-10-23T16:00:14Z)
• Personalized Multi-tier Federated Learning [7.124736158080938]
  パーソナライズド・フェデレーション・ラーニング(PerFL)の主な課題は、安価な通信でデータの統計特性を捉え、参加するデバイスにカスタマイズされたパフォーマンスを得ることである。 我々は,多層アーキテクチャ(PerMFL)における個人化フェデレーション学習を導入し,デバイス間でチーム構造が知られている場合に,最適化されたパーソナライズされたローカルモデルを得る。
  論文  参考訳（メタデータ） (2024-07-19T12:31:15Z)
• Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences [49.14535254003683]
  本稿では,機械学習におけるマルチタスクトレードオフに対処するパラメータ効率の高い新しい手法PaLoRAを紹介する。 実験の結果、PaLoRAは様々なデータセットで最先端のMTLとPFLのベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-07-10T21:25:51Z)
• AdaptSFL: Adaptive Split Federated Learning in Resource-constrained Edge Networks [15.195798715517315]
  Split Federated Learning(SFL)は、モデルのパーティショニングを通じて、最初のトレーニングワークロードをサーバにfloadする、有望なソリューションである。 本稿では,資源制約付きエッジコンピューティングシステムにおいて,SFLを高速化するための新しいリソース適応型SFLフレームワークであるAdaptSFLを提案する。
  論文  参考訳（メタデータ） (2024-03-19T19:05:24Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
  Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:22:09Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。