論文の概要: PAPILLON: PrivAcy Preservation from Internet-based and Local Language MOdel ENsembles

• arxiv url: http://arxiv.org/abs/2410.17127v1
• Date: Tue, 22 Oct 2024 16:00:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:29:32.992720
• Title: PAPILLON: PrivAcy Preservation from Internet-based and Local Language MOdel ENsembles
• Title（参考訳）: PAPILLON: インターネットとローカル言語によるModel ENsemblesからのPivAcy保存
• Authors: Li Siyan, Vethavikashini Chithrra Raghuram, Omar Khattab, Julia Hirschberg, Zhou Yu,
• Abstract要約: APIベースおよびローカルモデルをチェーンする新しいタスクであるPrivacy-Conscious Delegationを提案する。 我々は最近のユーザ-LLMインタラクションの公開コレクションを利用して、PUPAと呼ばれる自然なベンチマークを構築する。 私たちの最高のパイプラインは、85.5%のユーザクエリに対して高い応答品質を維持しながら、プライバシリークを7.5%に制限しています。
• 参考スコア（独自算出の注目度）: 21.340456482528136
• License:
• Abstract: Users can divulge sensitive information to proprietary LLM providers, raising significant privacy concerns. While open-source models, hosted locally on the user's machine, alleviate some concerns, models that users can host locally are often less capable than proprietary frontier models. Toward preserving user privacy while retaining the best quality, we propose Privacy-Conscious Delegation, a novel task for chaining API-based and local models. We utilize recent public collections of user-LLM interactions to construct a natural benchmark called PUPA, which contains personally identifiable information (PII). To study potential approaches, we devise PAPILLON, a multi-stage LLM pipeline that uses prompt optimization to address a simpler version of our task. Our best pipeline maintains high response quality for 85.5% of user queries while restricting privacy leakage to only 7.5%. We still leave a large margin to the generation quality of proprietary LLMs for future work. Our data and code will be available at https://github.com/siyan-sylvia-li/PAPILLON.
• Abstract（参考訳）: 機密情報をプロプライエタリなLLMプロバイダに公開することで、重要なプライバシー上の懸念を提起することができる。 オープンソースモデルはユーザのマシン上にローカルにホストされているため、いくつかの懸念を緩和するが、ユーザがローカルにホストできるモデルは、プロプライエタリなフロンティアモデルよりも能力が低いことが多い。 最高の品質を維持しながらユーザのプライバシを保護するために,我々は,APIベースのローカルモデルをチェーンする新たなタスクであるPrivacy-Conscious Delegationを提案する。 我々は最近のユーザ-LLMインタラクションの公開コレクションを利用して、個人識別可能な情報(PII)を含むPUPAと呼ばれる自然なベンチマークを構築する。 潜在的なアプローチを研究するために,タスクのより単純なバージョンに対応するために,迅速な最適化を利用する多段LLMパイプラインであるPAPILLONを考案した。 私たちの最高のパイプラインは、85.5%のユーザクエリに対して高い応答品質を維持しながら、プライバシリークを7.5%に制限しています。 将来的な作業のために、プロプライエタリなLLMの世代的品質に大きな差を残しています。 私たちのデータとコードはhttps://github.com/siyan-sylvia-li/PAPILLON.comで公開されます。

関連論文リスト

• PRIV-QA: Privacy-Preserving Question Answering for Cloud Large Language Models [10.050972891318324]
  本稿では,ユーザと大規模言語モデル間のインタラクションにおいて,プライバシとセンシティブな情報を保護するためのプライバシ保護パイプラインを提案する。 プライバシを開放した最初の質問応答データセットであるSensitiveQAを構築した。 提案手法は,クラウド上でのLCMの応答品質を同時に保ちながら,ユーザ情報の事前確保を目的としたマルチステージ戦略を用いている。
  論文  参考訳（メタデータ） (2025-02-19T09:17:07Z)
• KnowledgeSG: Privacy-Preserving Synthetic Text Generation with Knowledge Distillation from Server [48.04903443425111]
  大規模言語モデル (LLM) は、多くの当事者が自身のプライベートデータでLPMを微調整できるようにする。 置換のために合成データを利用するような既存のソリューションは、同時にパフォーマンスを改善し、プライバシを保存するのに苦労している。 我々は、合成データ品質を高め、プライバシを確保しつつモデル性能を向上させる新しいクライアントサーバフレームワークであるKnowledgeSGを提案する。
  論文  参考訳（メタデータ） (2024-10-08T06:42:28Z)
• PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
  PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
  論文  参考訳（メタデータ） (2024-08-29T17:58:38Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• PFID: Privacy First Inference Delegation Framework for LLMs [34.59282305562392]
  本稿では,LPMのためのPFIDという新しいプライバシ保護フレームワークを提案する。 モデルのシャーディングと特異値分解を通じてユーザデータをローカライズすることで、重要なプライバシー上の懸念に対処する。
  論文  参考訳（メタデータ） (2024-06-18T03:27:09Z)
• ConfusionPrompt: Practical Private Inference for Online Large Language Models [3.8134804426693094]
  最先端の大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーに詳細なプロンプトを送信する必要がある。 我々は,従来のプロンプトを小さなサブプロンプトに分解することで,ユーザのプライバシを保護する,プライベートLLM推論のための新しいフレームワークであるConfusionPromptを紹介する。 コンフュージョンプロンプトは,オープンソースモデルと摂動に基づく手法を用いて,局所的推論手法よりもはるかに高い実用性を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-30T01:26:42Z)
• DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer [57.04801796205638]
  大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。 しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。 本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
  論文  参考訳（メタデータ） (2023-11-27T02:01:10Z)
• PrivLM-Bench: A Multi-level Privacy Evaluation Benchmark for Language Models [42.20437015301152]
  言語モデル(LM)のプライバシー漏洩を評価するベンチマークであるPrivLM-Benchを提案する。 DPパラメータのみを報告するのではなく、PrivLM-Benchは実際の使用中に無視された推論データのプライバシに光を当てる。 メインストリームLMのためのGLUEの3つのデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-11-07T14:55:52Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。