論文の概要: PAPILLON: PrivAcy Preservation from Internet-based and Local Language MOdel ENsembles

• arxiv url: http://arxiv.org/abs/2410.17127v1
• Date: Tue, 22 Oct 2024 16:00:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:29:32.992720
• Title: PAPILLON: PrivAcy Preservation from Internet-based and Local Language MOdel ENsembles
• Title（参考訳）: PAPILLON: インターネットとローカル言語によるModel ENsemblesからのPivAcy保存
• Authors: Li Siyan, Vethavikashini Chithrra Raghuram, Omar Khattab, Julia Hirschberg, Zhou Yu,
• Abstract要約: APIベースおよびローカルモデルをチェーンする新しいタスクであるPrivacy-Conscious Delegationを提案する。 我々は最近のユーザ-LLMインタラクションの公開コレクションを利用して、PUPAと呼ばれる自然なベンチマークを構築する。 私たちの最高のパイプラインは、85.5%のユーザクエリに対して高い応答品質を維持しながら、プライバシリークを7.5%に制限しています。
• 参考スコア（独自算出の注目度）: 21.340456482528136
• License:
• Abstract: Users can divulge sensitive information to proprietary LLM providers, raising significant privacy concerns. While open-source models, hosted locally on the user's machine, alleviate some concerns, models that users can host locally are often less capable than proprietary frontier models. Toward preserving user privacy while retaining the best quality, we propose Privacy-Conscious Delegation, a novel task for chaining API-based and local models. We utilize recent public collections of user-LLM interactions to construct a natural benchmark called PUPA, which contains personally identifiable information (PII). To study potential approaches, we devise PAPILLON, a multi-stage LLM pipeline that uses prompt optimization to address a simpler version of our task. Our best pipeline maintains high response quality for 85.5% of user queries while restricting privacy leakage to only 7.5%. We still leave a large margin to the generation quality of proprietary LLMs for future work. Our data and code will be available at https://github.com/siyan-sylvia-li/PAPILLON.
• Abstract（参考訳）: 機密情報をプロプライエタリなLLMプロバイダに公開することで、重要なプライバシー上の懸念を提起することができる。 オープンソースモデルはユーザのマシン上にローカルにホストされているため、いくつかの懸念を緩和するが、ユーザがローカルにホストできるモデルは、プロプライエタリなフロンティアモデルよりも能力が低いことが多い。 最高の品質を維持しながらユーザのプライバシを保護するために,我々は,APIベースのローカルモデルをチェーンする新たなタスクであるPrivacy-Conscious Delegationを提案する。 我々は最近のユーザ-LLMインタラクションの公開コレクションを利用して、個人識別可能な情報(PII)を含むPUPAと呼ばれる自然なベンチマークを構築する。 潜在的なアプローチを研究するために,タスクのより単純なバージョンに対応するために,迅速な最適化を利用する多段LLMパイプラインであるPAPILLONを考案した。 私たちの最高のパイプラインは、85.5%のユーザクエリに対して高い応答品質を維持しながら、プライバシリークを7.5%に制限しています。 将来的な作業のために、プロプライエタリなLLMの世代的品質に大きな差を残しています。 私たちのデータとコードはhttps://github.com/siyan-sylvia-li/PAPILLON.comで公開されます。

関連論文リスト

• KnowledgeSG: Privacy-Preserving Synthetic Text Generation with Knowledge Distillation from Server [48.04903443425111]
  大規模言語モデル (LLM) は、多くの当事者が自身のプライベートデータでLPMを微調整できるようにする。 置換のために合成データを利用するような既存のソリューションは、同時にパフォーマンスを改善し、プライバシを保存するのに苦労している。 我々は、合成データ品質を高め、プライバシを確保しつつモデル性能を向上させる新しいクライアントサーバフレームワークであるKnowledgeSGを提案する。
  論文  参考訳（メタデータ） (2024-10-08T06:42:28Z)
• PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
  PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
  論文  参考訳（メタデータ） (2024-08-29T17:58:38Z)
• Are LLM-based methods good enough for detecting unfair terms of service? [67.49487557224415]
  大規模言語モデル(LLM)は、長いテキストベースの文書を解析するのに適している。 プライバシーポリシーの集合に対して個別に適用された12の質問からなるデータセットを構築します。 いくつかのオープンソースモデルは、いくつかの商用モデルと比較して高い精度を提供できる。
  論文  参考訳（メタデータ） (2024-08-24T09:26:59Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• PFID: Privacy First Inference Delegation Framework for LLMs [34.59282305562392]
  本稿では,LPMのためのPFIDという新しいプライバシ保護フレームワークを提案する。 モデルのシャーディングと特異値分解を通じてユーザデータをローカライズすることで、重要なプライバシー上の懸念に対処する。
  論文  参考訳（メタデータ） (2024-06-18T03:27:09Z)
• ConfusionPrompt: Practical Private Inference for Online Large Language Models [3.8134804426693094]
  最先端の大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーに詳細なプロンプトを送信する必要がある。 我々は,従来のプロンプトを小さなサブプロンプトに分解することで,ユーザのプライバシを保護する,プライベートLLM推論のための新しいフレームワークであるConfusionPromptを紹介する。 コンフュージョンプロンプトは,オープンソースモデルと摂動に基づく手法を用いて,局所的推論手法よりもはるかに高い実用性を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-30T01:26:42Z)
• DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer [57.04801796205638]
  大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。 しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。 本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
  論文  参考訳（メタデータ） (2023-11-27T02:01:10Z)
• PrivLM-Bench: A Multi-level Privacy Evaluation Benchmark for Language Models [42.20437015301152]
  言語モデル(LM)のプライバシー漏洩を評価するベンチマークであるPrivLM-Benchを提案する。 DPパラメータのみを報告するのではなく、PrivLM-Benchは実際の使用中に無視された推論データのプライバシに光を当てる。 メインストリームLMのためのGLUEの3つのデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-11-07T14:55:52Z)
• Privacy-Preserving Prompt Tuning for Large Language Model Services [16.589104544849743]
  本稿では,LLM(Large Language Models)サービスのプライバシ保証を提供するフレームワークを提案する。 textscraptはローカルのプライバシー設定を採用しており、ユーザーはローカルの差分プライバシーでデータを民営化することができる。 フレームワークの単純さにもかかわらず、RAPTは敵に対するプライバシー保証を提供しながら、タスク間での競合的なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-05-10T14:41:51Z)
• Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
  大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。 それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。 本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T15:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。