論文の概要: FELLAS: Enhancing Federated Sequential Recommendation with LLM as External Services

• arxiv url: http://arxiv.org/abs/2410.04927v2
• Date: Wed, 09 Oct 2024 07:17:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 14:01:50.586620
• Title: FELLAS: Enhancing Federated Sequential Recommendation with LLM as External Services
• Title（参考訳）: FELLAS: 外部サービスとしてのLLMによるフェデレーションシーケンスレコメンデーションの強化
• Authors: Wei Yuan, Chaoqun Yang, Guanhua Ye, Tong Chen, Quoc Viet Hung Nguyen, Hongzhi Yin,
• Abstract要約: フェデレートシーケンシャルレコメンデーション(FedSeqRec)は、ユーザのプライバシを保護する能力によって注目を集めている。 近年,大きな言語モデル (LLMs) は伝達可能で一般化された言語理解能力を示す。 LLMを外部サービスとして利用することによりFedSeqRecを強化することを目的とした、汎用的なFedSeqRecフレームワークFELLASを提案する。
• 参考スコア（独自算出の注目度）: 44.806819264385126
• License:
• Abstract: Federated sequential recommendation (FedSeqRec) has gained growing attention due to its ability to protect user privacy. Unfortunately, the performance of FedSeqRec is still unsatisfactory because the models used in FedSeqRec have to be lightweight to accommodate communication bandwidth and clients' on-device computational resource constraints. Recently, large language models (LLMs) have exhibited strong transferable and generalized language understanding abilities and therefore, in the NLP area, many downstream tasks now utilize LLMs as a service to achieve superior performance without constructing complex models. Inspired by this successful practice, we propose a generic FedSeqRec framework, FELLAS, which aims to enhance FedSeqRec by utilizing LLMs as an external service. Specifically, FELLAS employs an LLM server to provide both item-level and sequence-level representation assistance. The item-level representation service is queried by the central server to enrich the original ID-based item embedding with textual information, while the sequence-level representation service is accessed by each client. However, invoking the sequence-level representation service requires clients to send sequences to the external LLM server. To safeguard privacy, we implement dx-privacy satisfied sequence perturbation, which protects clients' sensitive data with guarantees. Additionally, a contrastive learning-based method is designed to transfer knowledge from the noisy sequence representation to clients' sequential recommendation models. Furthermore, to empirically validate the privacy protection capability of FELLAS, we propose two interacted item inference attacks. Extensive experiments conducted on three datasets with two widely used sequential recommendation models demonstrate the effectiveness and privacy-preserving capability of FELLAS.
• Abstract（参考訳）: フェデレートシーケンシャルレコメンデーション(FedSeqRec)は、ユーザのプライバシを保護する能力によって注目を集めている。 残念ながら、FedSeqRecのパフォーマンスは相変わらず不満足である。なぜなら、FedSeqRecで使用されるモデルは、通信帯域幅とクライアントのオンデバイス計算リソース制約に対応するために軽量でなければならないからである。 近年,大規模言語モデル (LLM) では, 言語理解能力の強化が図られているため, NLP領域では, 複雑なモデルを構築することなく, LLMをサービスとして活用し, より優れた性能を実現している。 この成功にインスパイアされたFedSeqRecフレームワークであるFELLASを提案し,LLMを外部サービスとして活用することでFedSeqRecを強化することを目的とする。 具体的には、FELLASはLLMサーバを使用してアイテムレベルとシーケンスレベルの両方の表現支援を提供する。 アイテムレベルの表現サービスは中央サーバによってクエリされ、元のIDベースのアイテムをテキスト情報に埋め込み、シーケンスレベルの表現サービスは各クライアントによってアクセスされる。 しかし、シーケンスレベルの表現サービスを呼び出すには、クライアントが外部のLLMサーバにシーケンスを送信する必要がある。 プライバシの保護を目的として,クライアントの機密データを保証付きで保護する,dx-privacy filled sequence perturbationを実装した。 さらに,ノイズシーケンス表現からクライアントのシーケンシャルレコメンデーションモデルへ知識を伝達するコントラッシブラーニングベースの手法が設計されている。 さらに、FELLASのプライバシ保護能力を実証的に検証するために、2つの相互作用したアイテム推論攻撃を提案する。 2つのシーケンシャルレコメンデーションモデルを持つ3つのデータセットで実施された大規模な実験は、FELLASの有効性とプライバシ保護能力を示している。

関連論文リスト

• FedCoLLM: A Parameter-Efficient Federated Co-tuning Framework for Large and Small Language Models [24.579015114518157]
  FedCoLLMは、Large Language Models (LLM) とSmall Language Models (SLM) の共用用に設計された新しいフレームワークである。 FedCoLLM はサーバ側の LLM の知識をクライアントの SLM に適応的に転送し、同時にクライアントからのドメイン洞察で LLM を豊かにする。 NLPテキスト生成タスクの多種多様な公開LLMとSLMを利用してFedCoLLMの評価を行ったところ,LLMの助けを借りて顕著な改善が得られた。
  論文  参考訳（メタデータ） (2024-11-18T16:34:58Z)
• FedSpaLLM: Federated Pruning of Large Language Models [8.45879077052023]
  大規模言語モデル(LLM)は最先端のパフォーマンスを実現するが、高い計算量とストレージ要求のためデプロイは困難である。 我々は,LLMの刈り取り専用に設計された最初のフェデレーション学習フレームワークであるFedSpaLLMを提案する。
  論文  参考訳（メタデータ） (2024-10-18T20:33:12Z)
• Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information [76.62949982303532]
  協調情報を用いた逐次レコメンデーションのためのパラメータ効率の高い大規模言語モデルバイチューニングフレームワーク(Laser)を提案する。 我々のレーザーでは,プレフィックスを用いてユーザと協調的な情報を取り込み,LLMをレコメンデーションタスクに適応させ,サフィックスは言語空間からレコメンデーションスペースへのLLMの出力埋め込みをリコメンデーション項目レコメンデーションスペースに変換する。 M-Formerは軽量なMoEベースのクエリ変換器で、クエリ専門家のセットを使用して、凍結IDベースのシーケンシャルレコメンデータシステムによって符号化された多様なユーザ固有の協調情報を統合する。
  論文  参考訳（メタデータ） (2024-09-03T04:55:03Z)
• Beyond Inter-Item Relations: Dynamic Adaption for Enhancing LLM-Based Sequential Recommendation [83.87767101732351]
  逐次リコメンデータシステム(SRS)は,ユーザの過去のインタラクションシーケンスに基づいて,ユーザが好む次の項目を予測する。 様々なAIアプリケーションにおける大規模言語モデル(LLM)の台頭に触発されて、LLMベースのSRSの研究が急増している。 我々は,大きめの粒度適応の上に構築された逐次レコメンデーションモデルであるDARecを提案する。
  論文  参考訳（メタデータ） (2024-08-14T10:03:40Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model [48.33280660752336]
  大規模言語モデル(LLM)は、適切なデータで微調整した後、多くのドメイン固有のタスクで素晴らしいパフォーマンスを示す。 多くのドメイン固有のデータは、プライベートに複数の所有者に分散される。 我々は,フェデレート学習のための資源効率の高いLLM微調整手法であるFedBiOTを紹介する。
  論文  参考訳（メタデータ） (2024-06-25T16:45:47Z)
• PFID: Privacy First Inference Delegation Framework for LLMs [34.59282305562392]
  本稿では,LPMのためのPFIDという新しいプライバシ保護フレームワークを提案する。 モデルのシャーディングと特異値分解を通じてユーザデータをローカライズすることで、重要なプライバシー上の懸念に対処する。
  論文  参考訳（メタデータ） (2024-06-18T03:27:09Z)
• PTF-FSR: A Parameter Transmission-Free Federated Sequential Recommender System [42.79538136366075]
  本稿では,パラメータを含まないフェデレーション・シーケンシャル・レコメンデーション・フレームワーク(PTF-FSR)を提案する。 PTF-FSRは、サービスプロバイダやシステムユーザのプライバシニーズを満たすために、モデルとデータのプライバシ保護の両方を保証する。
  論文  参考訳（メタデータ） (2024-06-08T07:45:46Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• ConfusionPrompt: Practical Private Inference for Online Large Language Models [3.8134804426693094]
  最先端の大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーに詳細なプロンプトを送信する必要がある。 我々は,従来のプロンプトを小さなサブプロンプトに分解することで,ユーザのプライバシを保護する,プライベートLLM推論のための新しいフレームワークであるConfusionPromptを紹介する。 コンフュージョンプロンプトは,オープンソースモデルと摂動に基づく手法を用いて,局所的推論手法よりもはるかに高い実用性を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-30T01:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。