論文の概要: Flexible Personalized Split Federated Learning for On-Device Fine-Tuning of Foundation Models

• arxiv url: http://arxiv.org/abs/2508.10349v1
• Date: Thu, 14 Aug 2025 05:14:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.186444
• Title: Flexible Personalized Split Federated Learning for On-Device Fine-Tuning of Foundation Models
• Title（参考訳）: デバイス上でのファインチューニングのためのフレキシブル・パーソナライズド・スプリット・フェデレーション学習
• Authors: Tianjun Yuan, Jiaxiang Geng, Pengchao Han, Xianhao Chen, Bing Luo,
• Abstract要約: コラボレーション学習は、ローカルクライアントのデータセットを微調整に利用できるが、限られたクライアントデータと異種データ分散は効果的なコラボレーションを妨げる。 本稿では,クライアントが個別の目的を維持しながら協調学習を行うことのできる,フレキシブルな個別化学習パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 5.346917610983131
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning foundation models is critical for superior performance on personalized downstream tasks, compared to using pre-trained models. Collaborative learning can leverage local clients' datasets for fine-tuning, but limited client data and heterogeneous data distributions hinder effective collaboration. To address the challenge, we propose a flexible personalized federated learning paradigm that enables clients to engage in collaborative learning while maintaining personalized objectives. Given the limited and heterogeneous computational resources available on clients, we introduce \textbf{flexible personalized split federated learning (FlexP-SFL)}. Based on split learning, FlexP-SFL allows each client to train a portion of the model locally while offloading the rest to a server, according to resource constraints. Additionally, we propose an alignment strategy to improve personalized model performance on global data. Experimental results show that FlexP-SFL outperforms baseline models in personalized fine-tuning efficiency and final accuracy.
• Abstract（参考訳）: ファインチューニング基盤モデルは、トレーニング済みのモデルに比べて、パーソナライズされた下流タスクにおいて優れたパフォーマンスを実現するために重要である。 コラボレーション学習は、ローカルクライアントのデータセットを微調整に利用できるが、限られたクライアントデータと異種データ分散は効果的なコラボレーションを妨げる。 この課題に対処するために、クライアントがパーソナライズされた目標を維持しながら協調学習を行うことを可能にするフレキシブルなパーソナライズド・フェデレーション・ラーニングパラダイムを提案する。 クライアント上で利用可能な限定的で異種な計算資源を考慮に入れた上で,<textbf{flexible Personalized split Federated Learning (FlexP-SFL)}を紹介する。 分割学習に基づいて、FlexP-SFLは各クライアントが、リソース制約に従って、残りの部分をサーバにオフロードしながら、モデルの一部をローカルにトレーニングすることができる。 さらに、グローバルデータにおけるパーソナライズされたモデル性能を改善するためのアライメント戦略を提案する。 実験の結果,FlexP-SFLはパーソナライズされた微調整効率と最終的な精度でベースラインモデルより優れていた。

関連論文リスト

• Not All Clients Are Equal: Personalized Federated Learning on Heterogeneous Multi-Modal Clients [52.14230635007546]
  ファンデーションモデルは多様なマルチモーダルタスクにまたがって顕著な能力を示してきたが、その集中的なトレーニングはプライバシーの懸念を高め、高い伝達コストを引き起こす。 異なるユーザー目的のためにAIモデルをパーソナライズする需要が高まっているため、パーソナライズされたフェデレーションラーニング(PFL)が出現している。 PFLは、各クライアントが他のクライアントの知識を活用して、データを共有することなく、個々のユーザの好みにさらに適応することを可能にする。
  論文  参考訳（メタデータ） (2025-05-20T09:17:07Z)
• Personalized Hierarchical Split Federated Learning in Wireless Networks [24.664469755746463]
  本稿では、パーソナライズ性能の向上を目的とした、パーソナライズされた階層分割型フェデレーション学習(PHSFL)アルゴリズムを提案する。 まず、モデル分割と階層モデル集約がグローバルモデルに与える影響を理解するために、広範囲な理論的解析を行う。 グローバルモデルがトレーニングされると、各クライアントを微調整してパーソナライズされたモデルを取得します。
  論文  参考訳（メタデータ） (2024-11-09T02:41:53Z)
• Personalized Federated Learning of Probabilistic Models: A PAC-Bayesian Approach [37.90061908863874]
  Federated Learningは、複数のクライアントが格納するプライベートおよび分散データから、共有モデルを推論することを目的としている。 本稿では確率モデルのPFLのためのPAC-PFLフレームワークを紹介する。 従来のPFLアルゴリズムとは異なり、PAC-PFLはパーソナライズされたモデルを1つの共有モデルに向けて正規化していない。
  論文  参考訳（メタデータ） (2024-01-16T13:30:37Z)
• ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning [95.64041188351393]
  本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。 個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。 計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
  論文  参考訳（メタデータ） (2023-10-08T12:26:13Z)
• Efficient Model Personalization in Federated Learning via Client-Specific Prompt Generation [38.42808389088285]
  フェデレーション学習(FL)は、データを共有せずに複数の分散クライアントからモデルをトレーニングし、プライバシを保存する分散学習フレームワークとして登場した。 クライアント固有のPrompt Generation(pFedPG)のパーソナライズされたFLフレームワークを提案する。 pFedPGはサーバにパーソナライズされたプロンプトジェネレータを配置してクライアント固有のビジュアルプロンプトを生成し、凍結したバックボーンをローカルデータ分散に効率的に適応させる。
  論文  参考訳（メタデータ） (2023-08-29T15:03:05Z)
• Learning to Specialize: Joint Gating-Expert Training for Adaptive MoEs in Decentralized Settings [41.98633628526484]
  Mixture-of-Experts (MoEs)は、コンポーネントのサブセットを動的に活性化することでスケーラビリティを実現する。 推論コストとデータヘテロジニティにより、ゲーティング関数と専門家の協調トレーニングがドメイン固有の専門知識を割り当てる方法について検討する。
  論文  参考訳（メタデータ） (2023-06-14T15:47:52Z)
• Federated Learning of Shareable Bases for Personalization-Friendly Image Classification [54.72892987840267]
  FedBasisは、いくつかの共有可能なベースモデルの集合を学習し、リニアに組み合わせて、クライアント用のパーソナライズされたモデルを形成することができる。 具体的には、新しいクライアントの場合、モデルの重みではなく、小さな組み合わせ係数のみを学ぶ必要がある。 また、FedBasisの有効性と適用性を示すために、画像分類のためのより実用的なPFLテストベッドを提案する。
  論文  参考訳（メタデータ） (2023-04-16T20:19:18Z)
• Personalizing or Not: Dynamically Personalized Federated Learning with Incentives [37.42347737911428]
  個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。 パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。 この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
  論文  参考訳（メタデータ） (2022-08-12T09:51:20Z)
• Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
  そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。 基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。 この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
  論文  参考訳（メタデータ） (2020-12-15T19:30:29Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。