論文の概要: LSRP: A Leader-Subordinate Retrieval Framework for Privacy-Preserving Cloud-Device Collaboration

• arxiv url: http://arxiv.org/abs/2505.05031v2
• Date: Tue, 03 Jun 2025 02:55:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.577589
• Title: LSRP: A Leader-Subordinate Retrieval Framework for Privacy-Preserving Cloud-Device Collaboration
• Title（参考訳）: LSRP: プライバシ保護クラウドデバイスコラボレーションのためのリーダーシップサブルーチン検索フレームワーク
• Authors: Yingyi Zhang, Pengyue Jia, Xianneng Li, Derong Xu, Maolin Wang, Yichao Wang, Zhaocheng Du, Huifeng Guo, Yong Liu, Ruiming Tang, Xiangyu Zhao,
• Abstract要約: クラウドとデバイス間のコラボレーションは、公開ユーザクエリの処理にオンプレミスのLarge Language Models(LLM)、プライベートユーザデータの処理にSLM(On-device Small Language Models)を活用する。 既存のアプローチは、クラウド上のLLMのスケーラブルな問題解決能力を十分に活用できないことが多い。 プライバシ保護型クラウドデバイスコラボレーション(LSRP)のためのリーダ・サブオーディネート検索フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 43.115594451678255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cloud-device collaboration leverages on-cloud Large Language Models (LLMs) for handling public user queries and on-device Small Language Models (SLMs) for processing private user data, collectively forming a powerful and privacy-preserving solution. However, existing approaches often fail to fully leverage the scalable problem-solving capabilities of on-cloud LLMs while underutilizing the advantage of on-device SLMs in accessing and processing personalized data. This leads to two interconnected issues: 1) Limited utilization of the problem-solving capabilities of on-cloud LLMs, which fail to align with personalized user-task needs, and 2) Inadequate integration of user data into on-device SLM responses, resulting in mismatches in contextual user information. In this paper, we propose a Leader-Subordinate Retrieval framework for Privacy-preserving cloud-device collaboration (LSRP), a novel solution that bridges these gaps by: 1) enhancing on-cloud LLM guidance to on-device SLM through a dynamic selection of task-specific leader strategies named as user-to-user retrieval-augmented generation (U-U-RAG), and 2) integrating the data advantages of on-device SLMs through small model feedback Direct Preference Optimization (SMFB-DPO) for aligning the on-cloud LLM with the on-device SLM. Experiments on two datasets demonstrate that LSRP consistently outperforms state-of-the-art baselines, significantly improving question-answer relevance and personalization, while preserving user privacy through efficient on-device retrieval. Our code is available at: https://github.com/Applied-Machine-Learning-Lab/LSRP.
• Abstract（参考訳）: クラウドとデバイス間のコラボレーションでは,パブリッククラウドのユーザクエリ処理にLLM(Large Language Model)と,プライベートユーザデータの処理にSLM(Small Language Model)を活用して,強力なプライバシ保護ソリューションを集合的に構成する。 しかしながら、既存のアプローチは、パーソナライズされたデータにアクセスおよび処理する上で、デバイス上のSLMの利点を過小評価しながら、クラウド上のLLMのスケーラブルな問題解決能力を十分に活用できないことが多い。 これは2つの相互接続の問題に繋がる。 1)パーソナライズされたユーザ・タスクのニーズに合致しないクラウド上でのLCMの問題解決能力の限定的利用 2) デバイス上でのSLM応答に対するユーザデータの不十分な統合により, コンテキスト情報にミスマッチが生じている。 本稿では,これらのギャップを埋める新しいソリューションとして,プライバシ保護クラウドデバイスコラボレーション(LSRP)のためのリーダ・サブオーディネート検索フレームワークを提案する。 1) ユーザ間検索強化世代(U-U-RAG)と呼ばれるタスク固有のリーダ戦略の動的選択を通じて、オンデバイスSLMへのオンクラウドLDMガイダンスの強化。 2) オンデバイスSLMとオンデバイスSLMの整合性を実現するために,小型モデルフィードバックによるデータ優位性をSMFB-DPO(Direct Preference Optimization)に統合した。 2つのデータセットの実験では、LSRPは最先端のベースラインを一貫して上回り、質問応答の妥当性とパーソナライゼーションを大幅に改善し、デバイス上での効率的な検索を通じてユーザのプライバシを保存する。 私たちのコードは、https://github.com/Applied-Machine-Learning-Lab/LSRPで利用可能です。

関連論文リスト

• A General Pseudonymization Framework for Cloud-Based LLMs: Replacing Privacy Information in Controlled Text Generation [0.6699777383856287]
  ChatGPTサービスはクラウドベースの大規模言語モデル(LLM)を活用する プライバシの懸念は、モデルプロバイダによってプロンプトが送信され、処理されるときに生じる。 クラウドベースのLCMに適用可能な一般的な擬似化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-21T06:15:53Z)
• PRIV-QA: Privacy-Preserving Question Answering for Cloud Large Language Models [10.050972891318324]
  本稿では,ユーザと大規模言語モデル間のインタラクションにおいて,プライバシとセンシティブな情報を保護するためのプライバシ保護パイプラインを提案する。 プライバシを開放した最初の質問応答データセットであるSensitiveQAを構築した。 提案手法は,クラウド上でのLCMの応答品質を同時に保ちながら,ユーザ情報の事前確保を目的としたマルチステージ戦略を用いている。
  論文  参考訳（メタデータ） (2025-02-19T09:17:07Z)
• Collaboration of Large Language Models and Small Recommendation Models for Device-Cloud Recommendation [47.28027985634746]
  推奨のためのLarge Language Models (LLMs) for Recommendation (LLM4Rec)は、この分野における優れたパフォーマンスを示す有望な研究方向である。 LLMはトレーニングや推論に費用がかかり、リアルタイムデータへのアクセスに苦労する。 スモールレコメンデーションモデル(SRM)は、頻繁なトレーニングと推論のために最小限のリソースを消費し、デバイス上のリアルタイムデータに便利なアクセスを行うことによって、これらの欠点を効果的に補うことができる。
  論文  参考訳（メタデータ） (2025-01-10T01:27:12Z)
• Efficiency Unleashed: Inference Acceleration for LLM-based Recommender Systems with Speculative Decoding [61.45448947483328]
  LLMベースのレコメンダシステム(LASER)の投機的復号化によるロスレス高速化について紹介する。 LASERは、検索効率を高めるためのカスタマイズされた検索プールと、ドラフトトークンの受け入れ率を改善するための緩和検証を備えている。 LASERは公開データセットの3～5倍のスピードアップを実現し、オンラインA/Bテスト中に約67%の計算リソースを節約する。
  論文  参考訳（メタデータ） (2024-08-11T02:31:13Z)
• Crayon: Customized On-Device LLM via Instant Adapter Blending and Edge-Server Hybrid Inference [20.666893617591136]
  オンデバイス LLM カスタマイズのための新しいアプローチである Crayon を提案する。 我々は,より要求の多いクエリや非カスタマイズタスクをサーバ上のより大きな,より有能なLDMに確実に割り当てるデバイスサーバハイブリッド推論戦略を開発する。
  論文  参考訳（メタデータ） (2024-06-11T07:00:08Z)
• A Federated Framework for LLM-based Recommendation [65.12855401912948]
  大規模言語モデル(LLM)は、微調整されたユーザ行動データを通じて生成レコメンデーションシステムに権限を与えている。 ユーザーデータを利用すると、重大なプライバシー上のリスクが発生し、倫理上のジレンマやデータ保護規則違反につながる可能性がある。 プライバシー問題に対処するため、Fed4Rec(Federated Learning for Recommendation)が有望なソリューションとして特定されている。
  論文  参考訳（メタデータ） (2024-02-15T14:09:28Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。