論文の概要: Plug-and-Play Parameter-Efficient Tuning of Embeddings for Federated Recommendation

• arxiv url: http://arxiv.org/abs/2512.13734v1
• Date: Sun, 14 Dec 2025 07:38:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-17 16:49:26.410106
• Title: Plug-and-Play Parameter-Efficient Tuning of Embeddings for Federated Recommendation
• Title（参考訳）: フェデレーション・リコメンデーションのためのプラグイン・アンド・プレイパラメータ・効率的な埋め込みのチューニング
• Authors: Haochen Yuan, Yang Zhang, Xiang He, Quan Z. Sheng, Zhongjie Wang,
• Abstract要約: Federated Recommendation (FR)は、生データの代わりにモデルパラメータを共有することで、プライバシを保護しながら、このようなマルチエンドの協調トレーニングを可能にする。 本研究では,送信する必要のある埋め込みパラメータの量を削減すべく,Fine-Tuning (PEFT) を用いたFRトレーニングフレームワークを提案する。 本稿では,LoRAやHashをベースとした符号化などのPEFT技術の導入に加えて,新たなPEFT戦略としてResidual Quantized Variational Autoencoders(RQ-VAE)の利用について検討する。
• 参考スコア（独自算出の注目度）: 16.783108944320066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rise of cloud-edge collaboration, recommendation services are increasingly trained in distributed environments. Federated Recommendation (FR) enables such multi-end collaborative training while preserving privacy by sharing model parameters instead of raw data. However, the large number of parameters, primarily due to the massive item embeddings, significantly hampers communication efficiency. While existing studies mainly focus on improving the efficiency of FR models, they largely overlook the issue of embedding parameter overhead. To address this gap, we propose a FR training framework with Parameter-Efficient Fine-Tuning (PEFT) based embedding designed to reduce the volume of embedding parameters that need to be transmitted. Our approach offers a lightweight, plugin-style solution that can be seamlessly integrated into existing FR methods. In addition to incorporating common PEFT techniques such as LoRA and Hash-based encoding, we explore the use of Residual Quantized Variational Autoencoders (RQ-VAE) as a novel PEFT strategy within our framework. Extensive experiments across various FR model backbones and datasets demonstrate that our framework significantly reduces communication overhead while improving accuracy. The source code is available at https://github.com/young1010/FedPEFT.
• Abstract（参考訳）: クラウドとエッジのコラボレーションの台頭に伴い、リコメンデーションサービスは分散環境でますます訓練されている。 Federated Recommendation (FR)は、生データの代わりにモデルパラメータを共有することによって、プライバシを保護しながら、このようなマルチエンドの協調トレーニングを可能にする。 しかし、多数のパラメータは、主に大量のアイテムの埋め込みによるものであり、通信効率を著しく損なう。 既存の研究は主にFRモデルの効率改善に重点を置いているが、それらは主にパラメータの埋め込みオーバーヘッドの問題を見落としている。 このギャップに対処するために,パラメータ効率の良いファインタニング(PEFT)を用いたFRトレーニングフレームワークを提案する。 当社のアプローチでは,既存のFRメソッドにシームレスに統合可能な,軽量なプラグインスタイルのソリューションを提供しています。 本稿では,LoRAやHashをベースとした符号化などのPEFT技術の導入に加えて,新たなPEFT戦略としてResidual Quantized Variational Autoencoders(RQ-VAE)の利用について検討する。 さまざまなFRモデルバックボーンとデータセットにわたる大規模な実験により、我々のフレームワークは通信オーバーヘッドを大幅に削減し、精度を向上することを示した。 ソースコードはhttps://github.com/young1010/FedPEFTで入手できる。

関連論文リスト

• From LLMs to Edge: Parameter-Efficient Fine-Tuning on Edge Devices [3.4233698915405544]
  本稿では,資源制約されたエッジ環境に通常デプロイされる畳み込みアーキテクチャのPEFT手法をベンチマークし,解析する。 評価されたPEFT法は, 深部分離可能な畳み込みアーキテクチャに適用した場合, メモリ効率が半減することがわかった。
  論文  参考訳（メタデータ） (2025-07-31T13:23:21Z)
• PrunePEFT: Iterative Hybrid Pruning for Parameter-Efficient Fine-tuning of LLMs [8.52711842775914]
  PEFT(Efficient Fine-Tuning)法は、訓練済み言語モデルにおいて、効率的かつ有望なアプローチとして登場した。 本稿では,PEFT 戦略探索をプルーニング問題として定式化する新しい手法 PrunePEFT を提案する。
  論文  参考訳（メタデータ） (2025-06-09T09:32:58Z)
• Communication-Efficient Wireless Federated Fine-Tuning for Large-Scale AI Models [13.742950928229078]
  Low-Rank Adaptation (LoRA) は、完全に微調整された大型モデルではなく、コンパクトで低ランクな行列を訓練することでこれらの問題に対処する。 本稿では,学習性能と通信効率の両方を最適化する無線フェデレーションLoRAファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-01T06:15:38Z)
• PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
  ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。 事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。 そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
  論文  参考訳（メタデータ） (2025-04-22T16:41:21Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Robust Federated Finetuning of Foundation Models via Alternating Minimization of LoRA [14.789886179102425]
  RoLoRAは、LoRAの交互アプローチを利用する、堅牢なフェデレーションファインチューニングフレームワークである。 この結果から,RoLoRAは通信の利点を示すだけでなく,複数のファインチューニングシナリオにおけるロバスト性と有効性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-09-04T00:20:55Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。