論文の概要: Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework

• arxiv url: http://arxiv.org/abs/2310.12523v1
• Date: Thu, 19 Oct 2023 06:55:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 01:54:08.774540
• Title: Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework
• Title（参考訳）: 大規模言語モデルを保存するプライバシ: ビジョンとフレームワークに基づくChatGPTケーススタディ
• Authors: Imdad Ullah, Najm Hassan, Sukhpal Singh Gill, Basem Suleiman, Tariq Ahamed Ahanger, Zawar Shah, Junaid Qadir, Salil S. Kanhere,
• Abstract要約: 本稿では,LLMのプライバシ生成モデルであるPrivChatGPTという概念モデルを提案する。 PrivChatGPTは、データキュレーション/前処理中にユーザのプライバシを保護し、プライベートコンテキストの保存と大規模データのプライベートトレーニングプロセスという2つの主要コンポーネントから構成される。
• 参考スコア（独自算出の注目度）: 6.828884629694705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The generative Artificial Intelligence (AI) tools based on Large Language Models (LLMs) use billions of parameters to extensively analyse large datasets and extract critical private information such as, context, specific details, identifying information etc. This have raised serious threats to user privacy and reluctance to use such tools. This article proposes the conceptual model called PrivChatGPT, a privacy-preserving model for LLMs that consists of two main components i.e., preserving user privacy during the data curation/pre-processing together with preserving private context and the private training process for large-scale data. To demonstrate its applicability, we show how a private mechanism could be integrated into the existing model for training LLMs to protect user privacy; specifically, we employed differential privacy and private training using Reinforcement Learning (RL). We measure the privacy loss and evaluate the measure of uncertainty or randomness once differential privacy is applied. It further recursively evaluates the level of privacy guarantees and the measure of uncertainty of public database and resources, during each update when new information is added for training purposes. To critically evaluate the use of differential privacy for private LLMs, we hypothetically compared other mechanisms e..g, Blockchain, private information retrieval, randomisation, for various performance measures such as the model performance and accuracy, computational complexity, privacy vs. utility etc. We conclude that differential privacy, randomisation, and obfuscation can impact utility and performance of trained models, conversely, the use of ToR, Blockchain, and PIR may introduce additional computational complexity and high training latency. We believe that the proposed model could be used as a benchmark for proposing privacy preserving LLMs for generative AI tools.
• Abstract（参考訳）: 大規模言語モデル(LLM)に基づく生成人工知能(AI)ツールは、数十億のパラメータを使用して、大規模なデータセットを広範囲に分析し、コンテキスト、特定の詳細、情報の識別など重要なプライベート情報を抽出する。 これにより、ユーザのプライバシやそのようなツールの使用を嫌う、深刻な脅威が生まれました。 本稿では,LLMのプライバシ保護モデルであるPrivChatGPTという概念モデルを提案する。 適用性を示すために,ユーザプライバシを保護するためにLLMをトレーニングするための既存のモデルにプライベートメカニズムを組み込む方法を示し,特にReinforcement Learning (RL) を用いた差分プライバシとプライベートトレーニングを採用した。 差分プライバシーを適用すると、プライバシー損失を測定し、不確実性やランダム性の尺度を評価する。 さらに、トレーニング目的に新たな情報が追加された場合の更新毎に、プライバシ保証のレベルと、公開データベースとリソースの不確実性の尺度を再帰的に評価する。 個人LLMにおける差分プライバシーの利用を批判的に評価するため,他のメカニズムeを仮説的に比較した。 例えば、ブロックチェーン、プライベート情報検索、ランダム化、モデルパフォーマンスと精度、計算複雑性、プライバシ対ユーティリティなど、さまざまなパフォーマンス対策。 異なるプライバシ、ランダム化、難読化は、トレーニングされたモデルの実用性とパフォーマンスに影響を与える可能性があると結論付け、逆にToR、Blockchain、PIRの使用は、さらなる計算複雑性と高いトレーニング遅延をもたらす可能性がある。 提案モデルは,ジェネレーティブAIツールのLLMをプライバシ保護するためのベンチマークとして使用できると考えている。

関連論文リスト

• Differentially Private Random Feature Model [52.468511541184895]
  プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。 本手法は,プライバシを保護し,一般化誤差を導出する。
  論文  参考訳（メタデータ） (2024-12-06T05:31:08Z)
• FT-PrivacyScore: Personalized Privacy Scoring Service for Machine Learning Participation [4.772368796656325]
  実際には、制御されたデータアクセスは、多くの産業や研究環境でデータプライバシを保護する主要な方法である。 我々は,FT-PrivacyScoreのプロトタイプを開発し,モデル微調整作業に参加する際のプライバシーリスクを効率よく定量的に推定できることを実証した。
  論文  参考訳（メタデータ） (2024-10-30T02:41:26Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Position: Considerations for Differentially Private Learning with Large-Scale Public Pretraining [75.25943383604266]
  大規模なWebスクレイプデータセットの使用は、差分プライバシ保存と見なすべきかどうかを疑問視する。 Webデータ上で事前訓練されたこれらのモデルを“プライベート”として公開することで、市民のプライバシーに対する信頼を意味のあるプライバシの定義として損なう可能性があることを警告します。 公的な事前学習がより普及し、強力になるにつれて、私的な学習分野への道のりを議論することで、我々は結論づける。
  論文  参考訳（メタデータ） (2022-12-13T10:41:12Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Production of Categorical Data Verifying Differential Privacy: Conception and Applications to Machine Learning [0.0]
  差別化プライバシは、プライバシとユーティリティのトレードオフの定量化を可能にする正式な定義である。 ローカルDP(LDP)モデルでは、ユーザはデータをサーバに送信する前に、ローカルにデータをサニタイズすることができる。 いずれの場合も、微分プライベートなMLモデルは、非プライベートなモデルとほぼ同じユーティリティメトリクスを達成できると結論付けました。
  論文  参考訳（メタデータ） (2022-04-02T12:50:14Z)
• Personalized PATE: Differential Privacy for Machine Learning with Individual Privacy Guarantees [1.2691047660244335]
  トレーニングデータ内に、パーソナライズされたプライバシ保証の異なるMLモデルのトレーニングを支援する3つの新しい方法を提案する。 実験により, 個人化されたプライバシ手法は, 非個人化されたベースラインよりも高い精度のモデルが得られることがわかった。
  論文  参考訳（メタデータ） (2022-02-21T20:16:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。