論文の概要: PFID: Privacy First Inference Delegation Framework for LLMs

• arxiv url: http://arxiv.org/abs/2406.12238v1
• Date: Tue, 18 Jun 2024 03:27:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 22:58:48.313241
• Title: PFID: Privacy First Inference Delegation Framework for LLMs
• Title（参考訳）: PFID: LLMのためのプライバシファースト推論デリゲーションフレームワーク
• Authors: Haoyan Yang, Zhitao Li, Yong Zhang, Jianzong Wang, Ning Cheng, Ming Li, Jing Xiao,
• Abstract要約: 本稿では,LPMのためのPFIDという新しいプライバシ保護フレームワークを提案する。 モデルのシャーディングと特異値分解を通じてユーザデータをローカライズすることで、重要なプライバシー上の懸念に対処する。
• 参考スコア（独自算出の注目度）: 34.59282305562392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a novel privacy-preservation framework named PFID for LLMs that addresses critical privacy concerns by localizing user data through model sharding and singular value decomposition. When users are interacting with LLM systems, their prompts could be subject to being exposed to eavesdroppers within or outside LLM system providers who are interested in collecting users' input. In this work, we proposed a framework to camouflage user input, so as to alleviate privacy issues. Our framework proposes to place model shards on the client and the public server, we sent compressed hidden states instead of prompts to and from servers. Clients have held back information that can re-privatized the hidden states so that overall system performance is comparable to traditional LLMs services. Our framework was designed to be communication efficient, computation can be delegated to the local client so that the server's computation burden can be lightened. We conduct extensive experiments on machine translation tasks to verify our framework's performance.
• Abstract（参考訳）: 本稿では,モデルシャーディングと特異値分解によるユーザデータのローカライズにより,重要なプライバシ問題に対処する,新たなプライバシ保護フレームワーク PFID for LLM を提案する。 ユーザがLLMシステムと対話する場合、そのプロンプトは、ユーザ入力の収集に関心のあるLLMシステムプロバイダ内外の盗聴者に対して公開される可能性がある。 本研究では,プライバシー問題を軽減するために,ユーザ入力をカモフラージュするフレームワークを提案する。 我々のフレームワークは、クライアントとパブリックサーバにモデルシャードを配置することを提案し、サーバへのプロンプトではなく、圧縮された隠された状態を送信した。 クライアントは隠された状態を再び民営化する情報を保持し、システム全体のパフォーマンスは従来のLLMサービスに匹敵する。 我々のフレームワークは通信効率が良いように設計されており、サーバの計算負担を軽減できるように、計算をローカルクライアントに委譲することができる。 フレームワークの性能を検証するため,機械翻訳タスクについて広範な実験を行った。

関連論文リスト

• A Practical and Privacy-Preserving Framework for Real-World Large Language Model Services [8.309281698695381]
  大規模言語モデル(LLM)は、テキスト理解と生成において例外的な能力を示した。 個人はしばしばLLM企業が提供するオンラインAI・アズ・ア・サービス(AI)に依存している。 このビジネスモデルは、サービスプロバイダがユーザのトレースパターンや行動データを悪用する可能性があるため、重大なプライバシー上のリスクをもたらす。 本稿では,サービスプロバイダが要求を提出した個人にリンクさせることを防止し,ユーザの匿名性を確保するための実用的かつプライバシ保護フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-03T07:40:28Z)
• PAPILLON: PrivAcy Preservation from Internet-based and Local Language MOdel ENsembles [21.340456482528136]
  APIベースおよびローカルモデルをチェーンする新しいタスクであるPrivacy-Conscious Delegationを提案する。 我々は最近のユーザ-LLMインタラクションの公開コレクションを利用して、PUPAと呼ばれる自然なベンチマークを構築する。 私たちの最高のパイプラインは、85.5%のユーザクエリに対して高い応答品質を維持しながら、プライバシリークを7.5%に制限しています。
  論文  参考訳（メタデータ） (2024-10-22T16:00:26Z)
• KnowledgeSG: Privacy-Preserving Synthetic Text Generation with Knowledge Distillation from Server [48.04903443425111]
  大規模言語モデル (LLM) は、多くの当事者が自身のプライベートデータでLPMを微調整できるようにする。 置換のために合成データを利用するような既存のソリューションは、同時にパフォーマンスを改善し、プライバシを保存するのに苦労している。 我々は、合成データ品質を高め、プライバシを確保しつつモデル性能を向上させる新しいクライアントサーバフレームワークであるKnowledgeSGを提案する。
  論文  参考訳（メタデータ） (2024-10-08T06:42:28Z)
• Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data [53.70870879858533]
  フェデレートされたドメイン固有の知識伝達フレームワークを紹介する。 クライアントのデータプライバシを保護しながら、LLMからSLMへのドメイン固有の知識転送を可能にする。 提案されたFDKTフレームワークは、プライバシー予算が10未満のSLMのタスクパフォーマンスを約5%改善する。
  論文  参考訳（メタデータ） (2024-05-23T06:14:35Z)
• ConfusionPrompt: Practical Private Inference for Online Large Language Models [3.8134804426693094]
  最先端の大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーに詳細なプロンプトを送信する必要がある。 我々は,従来のプロンプトを小さなサブプロンプトに分解することで,ユーザのプライバシを保護する,プライベートLLM推論のための新しいフレームワークであるConfusionPromptを紹介する。 コンフュージョンプロンプトは,オープンソースモデルと摂動に基づく手法を用いて,局所的推論手法よりもはるかに高い実用性を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-30T01:26:42Z)
• Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy Protection [6.201275002179716]
  本稿では,H(ide)" と "S(eek)" の2つのコアプロセスとして,匿名化のためのプライベートエンティティの隠蔽と非匿名化のためのプライベートエンティティの検索を行うHaSフレームワークを紹介する。 本研究では,HaSのプライバシー保護性能を定量的に評価するために,ブラックボックスモデルとホワイトボックスモデルの両方を提案する。
  論文  参考訳（メタデータ） (2023-09-06T14:54:11Z)
• Privacy-Preserving Prompt Tuning for Large Language Model Services [16.589104544849743]
  本稿では,LLM(Large Language Models)サービスのプライバシ保証を提供するフレームワークを提案する。 textscraptはローカルのプライバシー設定を採用しており、ユーザーはローカルの差分プライバシーでデータを民営化することができる。 フレームワークの単純さにもかかわらず、RAPTは敵に対するプライバシー保証を提供しながら、タスク間での競合的なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-05-10T14:41:51Z)
• Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
  大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。 それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。 本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T15:05:16Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)
• Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
  フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。 マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。 VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
  論文  参考訳（メタデータ） (2022-07-20T23:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。