論文の概要: Bi-level Personalization for Federated Foundation Models: A Task-vector Aggregation Approach

• arxiv url: http://arxiv.org/abs/2509.12697v1
• Date: Tue, 16 Sep 2025 05:45:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:52.907145
• Title: Bi-level Personalization for Federated Foundation Models: A Task-vector Aggregation Approach
• Title（参考訳）: フェデレーションモデルのための双方向パーソナライゼーション:タスクベクトル集約アプローチ
• Authors: Yiyuan Yang, Guodong Long, Qinghua Lu, Liming Zhu, Jing Jiang,
• Abstract要約: フェデレーション・ファンデーション・モデル(Federated foundation model)は、クライアント間で協調的に訓練されたファンデーション・モデルを微調整するための新しいパラダイムである。 新しいユーザや特別なシナリオの小さなグループに対して、ファンデーションモデルを微調整することは依然として課題です。 ファウンデーションモデルに基づくファインチューニングのための二段階パーソナライズフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 43.78860505829857
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Federated foundation models represent a new paradigm to jointly fine-tune pre-trained foundation models across clients. It is still a challenge to fine-tune foundation models for a small group of new users or specialized scenarios, which typically involve limited data compared to the large-scale data used in pre-training. In this context, the trade-off between personalization and federation becomes more sensitive. To tackle these, we proposed a bi-level personalization framework for federated fine-tuning on foundation models. Specifically, we conduct personalized fine-tuning on the client-level using its private data, and then conduct a personalized aggregation on the server-level using similar users measured by client-specific task vectors. Given the personalization information gained from client-level fine-tuning, the server-level personalized aggregation can gain group-wise personalization information while mitigating the disturbance of irrelevant or interest-conflict clients with non-IID data. The effectiveness of the proposed algorithm has been demonstrated by extensive experimental analysis in benchmark datasets.
• Abstract（参考訳）: フェデレーション・ファンデーション・モデル(Federated foundation model)は、クライアント間で協調的に訓練されたファンデーション・モデルを微調整するための新しいパラダイムである。 新しいユーザや特別なシナリオの小さなグループに対して、事前トレーニングで使用する大規模なデータと比較して、制限されたデータを必要とするような、ファンデーションモデルを微調整することは依然として課題である。 この文脈では、パーソナライゼーションとフェデレーションの間のトレードオフはより敏感になる。 そこで本稿では,基礎モデルに基づくファインタニングのための双方向パーソナライズフレームワークを提案する。 具体的には、プライベートデータを用いてクライアントレベルでパーソナライズされた微調整を行い、クライアント固有のタスクベクトルによって測定された類似ユーザを用いてサーバレベルでパーソナライズされたアグリゲーションを行う。 クライアントレベルの微調整から得られるパーソナライズ情報を考えると、サーバレベルのパーソナライズアグリゲーションは、非IIDデータによる無関係または利害のクライアントの混乱を軽減しつつ、グループレベルのパーソナライズ情報を得ることができる。 提案アルゴリズムの有効性は、ベンチマークデータセットにおける広範な実験的解析によって実証されている。

関連論文リスト

• Federated Learning with Unlabeled Clients: Personalization Can Happen in Low Dimensions [16.161876130822396]
  FLowDUPは、ラベルのないデータを持つフォワードパスのみを使用してパーソナライズされたモデルを生成することができる。 新たなトランスダクティブマルチタスク PAC-Bayesian 一般化バウンダリは、ラベルのないクライアントに対して性能保証を提供する。
  論文  参考訳（メタデータ） (2025-05-21T14:30:59Z)
• Not All Clients Are Equal: Personalized Federated Learning on Heterogeneous Multi-Modal Clients [52.14230635007546]
  ファンデーションモデルは多様なマルチモーダルタスクにまたがって顕著な能力を示してきたが、その集中的なトレーニングはプライバシーの懸念を高め、高い伝達コストを引き起こす。 異なるユーザー目的のためにAIモデルをパーソナライズする需要が高まっているため、パーソナライズされたフェデレーションラーニング(PFL)が出現している。 PFLは、各クライアントが他のクライアントの知識を活用して、データを共有することなく、個々のユーザの好みにさらに適応することを可能にする。
  論文  参考訳（メタデータ） (2025-05-20T09:17:07Z)
• Fine-Tuning Personalization in Federated Learning to Mitigate Adversarial Clients [8.773068878015856]
  フェデレートラーニング(Federated Learning, FL)とは、複数のマシン(例えばクライアント)がデータをローカルに保持しながら一元的に学習できるようにする、魅力的なパラダイムである。 我々は、一部のクライアントが敵対できるFL設定を検討し、完全なコラボレーションが失敗する条件を導出する。
  論文  参考訳（メタデータ） (2024-09-30T14:31:19Z)
• MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes [49.22075916259368]
  一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散される。 本稿では,クライアントが不完全なクラスを所有する特別なI.I.D.シーンに焦点を当てる。 提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
  論文  参考訳（メタデータ） (2024-04-14T12:22:42Z)
• Dirichlet-based Uncertainty Quantification for Personalized Federated Learning with Improved Posterior Networks [9.54563359677778]
  本稿では,グローバルおよびパーソナライズされたモデルの中からモデルを選択可能なフェデレーション学習への新たなアプローチを提案する。 これは、局所的およびグローバルな分布内および分布外データを検出するのに役立つ予測不確実性の慎重なモデリングによって達成される。 一般的な実世界の画像データセットに対する総合的な実験的評価は、アウト・オブ・ディストリビューション・データの存在下でのモデルの優れた性能を示している。
  論文  参考訳（メタデータ） (2023-12-18T14:30:05Z)
• Federated Learning of Shareable Bases for Personalization-Friendly Image Classification [54.72892987840267]
  FedBasisは、いくつかの共有可能なベースモデルの集合を学習し、リニアに組み合わせて、クライアント用のパーソナライズされたモデルを形成することができる。 具体的には、新しいクライアントの場合、モデルの重みではなく、小さな組み合わせ係数のみを学ぶ必要がある。 また、FedBasisの有効性と適用性を示すために、画像分類のためのより実用的なPFLテストベッドを提案する。
  論文  参考訳（メタデータ） (2023-04-16T20:19:18Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Personalizing or Not: Dynamically Personalized Federated Learning with Incentives [37.42347737911428]
  個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。 パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。 この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
  論文  参考訳（メタデータ） (2022-08-12T09:51:20Z)
• Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity [3.291862617649511]
  クライアントレベルの目的からパーソナライズされたモデルを得るための新しいアプローチを提案する。 このパーソナライズを実現するために、各クライアントの小さなサブネットワークを見つける。
  論文  参考訳（メタデータ） (2021-05-02T22:10:46Z)
• Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
  そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。 基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。 この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
  論文  参考訳（メタデータ） (2020-12-15T19:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。