論文の概要: TransFR: Transferable Federated Recommendation with Adapter Tuning on Pre-trained Language Models
- arxiv url: http://arxiv.org/abs/2402.01124v2
- Date: Thu, 31 Jul 2025 05:19:47 GMT
- ステータス: 情報取得中
- システム内更新日: 2025-08-01 14:10:27.629582
- Title: TransFR: Transferable Federated Recommendation with Adapter Tuning on Pre-trained Language Models
- Title（参考訳）: TransFR: 事前学習型言語モデルに基づく適応チューニングによる転送可能なフェデレーションレコメンデーション
- Authors: Honglei Zhang, Zhiwei Li, Haoxuan Li, Xin Zhou, Jie Zhang, Yidong Li,
- Abstract要約: フェデレートされたレコメンデーション(FR)は、複数のローカルクライアントがユーザプライベートデータを公開せずにグローバルモデルを集合的に学習できるようにする。
かなりの性能にもかかわらず、フェデレーション設定では無視できない3つの固有の制限を明らかにする。
本稿では、事前学習モデルによって強化された汎用能力を微妙に組み込んだ転送可能なフェデレーションレコメンデーションモデルであるTransFRを提案する。
- 参考スコア（独自算出の注目度）: 21.626288888508768
- License:
- Abstract: Federated recommendations (FRs), facilitating multiple local clients to collectively learn a global model without disclosing user private data, have emerged as a prevalent on-device service. In conventional FRs, a dominant paradigm is to utilize discrete identities to represent clients and items, which are then mapped to domain-specific embeddings to participate in model training. Despite considerable performance, we reveal three inherent limitations that can not be ignored in federated settings, i.e., non-transferability across domains, ineffectiveness in cold-start settings, and potential privacy violations during federated training. To this end, we propose a transferable federated recommendation model, TransFR, which delicately incorporates the general capabilities empowered by pre-trained models and the personalized abilities by fine-tuning local private data. Specifically, it first learns domain-agnostic representations of items by exploiting pre-trained models with public textual corpora. To tailor for FR tasks, we further introduce efficient federated adapter-tuning and test-time adaptation mechanisms, which facilitate personalized local adapters for each client by fitting their private data distributions. We theoretically prove the advantages of incorporating adapter tuning in FRs regarding both effectiveness and privacy. Through extensive experiments, we show that our TransFR model surpasses several state-of-the-art FRs on transferability.
- Abstract（参考訳）: フェデレートされたレコメンデーション(FR)は、複数のローカルクライアントがユーザのプライベートデータを開示せずにグローバルモデルを集合的に学習できるようにするもので、デバイス上で広く普及しているサービスとして現れている。
従来のFRでは、クライアントやアイテムを表すために個別のIDを利用することが主流であり、モデルトレーニングに参加するためにドメイン固有の埋め込みにマッピングされる。
かなりの性能にもかかわらず、フェデレートされた設定では無視できない3つの固有の制限、すなわちドメイン間の非参照性、コールドスタート設定における非効率性、フェデレートされたトレーニング中の潜在的なプライバシー侵害を明らかにする。
そこで本研究では,トランスファー可能なフェデレーション・レコメンデーション・モデルであるTransFRを提案する。
具体的には、まず、事前訓練されたモデルを公開テキストコーパスで活用することで、アイテムのドメインに依存しない表現を学習する。
さらに, FRタスクの調整のために, クライアント毎のローカルアダプタの個別化を容易にする, 効率的なフェデレーション型アダプタチューニングおよびテスト時間適応機構を導入する。
我々は、FRにアダプタチューニングを組み込むことの利点を、有効性とプライバシの両方に関して理論的に証明する。
広範囲な実験により,TransFRモデルが伝達性においていくつかの最先端FRを超えていることが示されている。
関連論文リスト
- FedAli: Personalized Federated Learning Alignment with Prototype Layers for Generalized Mobile Services [9.683642138601464]
フェデレートアライメント(Federated Alignment, FedAli)は、プロトタイプベースの正規化技術であり、パーソナライズされた適応の堅牢性を強化しながら、クライアント間のアライメントを強化する。
コアとなるFedAliは、一般化を強化するために、人間のメモリにインスパイアされたPrototypesレイヤによるアライメントを導入した。
実験の結果,FedAliは不均一な環境下で強いパーソナライゼーションを維持しつつ,クライアントの一般化を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2024-11-15T21:35:21Z) - FedP3: Federated Personalized and Privacy-friendly Network Pruning under Model Heterogeneity [82.5448598805968]
我々は、フェデレートされたパーソナライズされたプライバシフレンドリーなネットワークプルーニングを表現する、効果的で適応可能なフェデレーションフレームワークであるFedP3を提案する。
我々は、FedP3とその局所微分プライベート変種DP-FedP3の理論解釈を提供し、それらの効率を理論的に検証する。
論文 参考訳（メタデータ） (2024-04-15T14:14:05Z) - Dual-Personalizing Adapter for Federated Foundation Models [35.863585349109385]
本稿では,テスト時間分布シフトを同時に処理するフェデレートデュアルパーソナライズアダプタアーキテクチャを提案する。
提案手法の有効性を,異なるNLPタスクのベンチマークデータセットを用いて評価した。
論文 参考訳（メタデータ） (2024-03-28T08:19:33Z) - Unlocking the Potential of Prompt-Tuning in Bridging Generalized and
Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。
本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文 参考訳（メタデータ） (2023-10-27T17:22:09Z) - Profit: Benchmarking Personalization and Robustness Trade-off in
Federated Prompt Tuning [40.16581292336117]
フェデレートラーニング(FL)の多くの応用において、クライアントはローカルデータを用いてパーソナライズされたモデルを求めているが、一般的なグローバルな知識を保持するという意味でも堅牢である。
フェデレーションシステムの設計において、このパーソナライゼーションとロバストネスのトレードオフをどのようにナビゲートするかを理解することは重要である。
論文 参考訳（メタデータ） (2023-10-06T23:46:33Z) - Learning to Specialize: Joint Gating-Expert Training for Adaptive MoEs in Decentralized Settings [41.98633628526484]
Mixture-of-Experts (MoEs)は、コンポーネントのサブセットを動的に活性化することでスケーラビリティを実現する。
推論コストとデータヘテロジニティにより、ゲーティング関数と専門家の協調トレーニングがドメイン固有の専門知識を割り当てる方法について検討する。
論文 参考訳（メタデータ） (2023-06-14T15:47:52Z) - PerAda: Parameter-Efficient Federated Learning Personalization with Generalization Guarantees [95.87604231887353]
既存のpFL手法は高い通信コストと計算コストをもたらすか、テスト通信に弱い。
PerAdaではパラメータ蒸留とpFL pFLが特に試験時間分布において優れた性能を示す。
私たちのコードはhttps://github.com/NV/PerAda.comで公開されています。
論文 参考訳（メタデータ） (2023-02-13T19:00:37Z) - PFA: Privacy-preserving Federated Adaptation for Effective Model
Personalization [6.66389628571674]
フェデレートラーニング(FL)は、プライバシを改善した分散機械学習パラダイムとして普及している。
本稿では,より優れたパーソナライズ結果を得るために,訓練されたモデルをフェデレーション方式で適応させることを目的とした,フェデレーション適応と呼ばれる新しい概念を提案する。
PFA(Privacy-preserving Federated Adaptation)を実現するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-02T08:07:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。