論文の概要: Differentially Private Attention Computation

• arxiv url: http://arxiv.org/abs/2305.04701v1
• Date: Mon, 8 May 2023 13:32:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 14:19:51.780805
• Title: Differentially Private Attention Computation
• Title（参考訳）: 微分的にプライベートな注意計算
• Authors: Yeqi Gao, Zhao Song, Xin Yang
• Abstract要約: 大規模言語モデル(LLM)は、日常生活の多くの側面に大きな影響を与えている。 大きな言語モデルの推論結果に関する重要な問題のひとつは、セキュリティとプライバシである。 注意行列を微分的にプライベートに近似する方法を示すための証明可能な結果を提供する。
• 参考スコア（独自算出の注目度）: 20.27253144784876
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) have had a profound impact on numerous aspects of daily life including natural language processing, content generation, research methodologies and so on. However, one crucial issue concerning the inference results of large language models is security and privacy. In many scenarios, the results generated by LLMs could possibly leak many confidential or copyright information. A recent beautiful and breakthrough work [Vyas, Kakade and Barak 2023] focus on such privacy issue of the LLMs from theoretical perspective. It is well-known that computing the attention matrix is one of the major task during the LLMs computation. Thus, how to give a provable privately guarantees of computing the attention matrix is an important research direction. Previous work [Alman and Song 2023, Brand, Song and Zhou 2023] have proposed provable tight result for fast computation of attention without considering privacy concerns. One natural mathematical formulation to quantity the privacy in theoretical computer science graduate school textbook is differential privacy. Inspired by [Vyas, Kakade and Barak 2023], in this work, we provide a provable result for showing how to differentially private approximate the attention matrix. From technique perspective, our result replies on a pioneering work in the area of differential privacy by [Alabi, Kothari, Tankala, Venkat and Zhang 2022].
• Abstract（参考訳）: 大規模言語モデル(llm)は、自然言語処理、コンテンツ生成、研究方法論など、日常生活の多くの側面に大きな影響を与えてきた。 しかしながら、大規模な言語モデルの推論結果に関する重要な問題のひとつは、セキュリティとプライバシである。 多くのシナリオにおいて、LLMが生成した結果は、多くの機密情報や著作権情報を漏洩させる可能性がある。 最近の美しい画期的な研究(Vyas, Kakade, Barak 2023)は、理論的な観点からLLMのこのようなプライバシー問題に焦点を当てている。 注意行列の計算がllms計算における主要なタスクの1つであることはよく知られている。 したがって、注意行列の計算をプライベートに保証する方法は、重要な研究の方向性である。 これまでの研究(alman and song 2023, brand, song and zhou 2023)では,プライバシの懸念を考慮せずに,迅速な注意の計算を可能にするための厳密な結果が提案されている。 理論計算機科学大学院教科書におけるプライバシーを量化する自然な数学的定式化の一つは微分プライバシーである。 この研究で[Vyas, Kakade, Barak 2023] に着想を得て、注意行列を微分的にプライベートに近似する方法を示す証明可能な結果を与える。 技術の観点からは, 差動プライバシの分野で [alabi, kothari, tankala, venkat, zhang 2022] による先駆的な研究に回答する。

関連論文リスト

• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework [6.828884629694705]
  本稿では,LLMのプライバシ生成モデルであるPrivChatGPTという概念モデルを提案する。 PrivChatGPTは、データキュレーション/前処理中にユーザのプライバシを保護し、プライベートコンテキストの保存と大規模データのプライベートトレーニングプロセスという2つの主要コンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-10-19T06:55:13Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• A Unified View of Differentially Private Deep Generative Modeling [60.72161965018005]
  プライバシー上の懸念のあるデータには、データアクセスとデータ共有を頻繁に禁止する厳格な規制が伴う。 これらの障害を克服することは、プライバシーに敏感なデータを含む多くの現実世界のアプリケーションシナリオにおいて、技術的進歩の鍵となる。 差分的プライベート(DP)データパブリッシングは、データの衛生化された形式のみを公開する、魅力的なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-09-27T14:38:16Z)
• Context-Aware Differential Privacy for Language Modeling [41.54238543400462]
  本稿では,CADP-LM(Context-Aware Differentially Private Language Model)を紹介する。 CADP-LMは、潜在的にセンシティブな情報を定義し、監査するために、エンフコンテクスの概念に依存している。 CADP-LMのユニークな特徴は、センシティブな文や文脈のみの保護を目標とする能力である。
  論文  参考訳（メタデータ） (2023-01-28T20:06:16Z)
• You Are What You Write: Preserving Privacy in the Era of Large Language Models [2.3431670397288005]
  本稿では,様々な人気モデルを用いて,事前学習された表現に符号化された個人情報の範囲について,実証的研究を行う。 モデルの複雑さ,事前学習に使用するデータ量,およびデータ漏洩との間には,正の相関関係を示す。
  論文  参考訳（メタデータ） (2022-04-20T11:12:53Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• ADePT: Auto-encoder based Differentially Private Text Transformation [22.068984615657463]
  自動エンコーダを用いたユーティリティ保存型差分プライベートテキスト変換アルゴリズムを提案する。 我々のアルゴリズムはテキストを変換し、攻撃に対して堅牢性を提供し、意味的品質の高い変換を生成する。 その結果,提案手法はMIA攻撃に対して有効であり,基礎となる変換プロセスの有用性は低下しないことがわかった。
  論文  参考訳（メタデータ） (2021-01-29T23:15:24Z)
• More Than Privacy: Applying Differential Privacy in Key Areas of Artificial Intelligence [62.3133247463974]
  差分プライバシーは、AIのプライバシー保護以上のことができることを示す。 また、セキュリティを改善し、学習を安定させ、公正なモデルを構築し、AIの選択領域にコンポジションを課すためにも使用できる。
  論文  参考訳（メタデータ） (2020-08-05T03:07:36Z)
• InfoScrub: Towards Attribute Privacy by Targeted Obfuscation [77.49428268918703]
  視覚データに流出した個人情報を個人が制限できる技術について検討する。 我々はこの問題を新しい画像難読化フレームワークで解決する。 提案手法では,元の入力画像に忠実な難読化画像を生成するとともに,非難読化画像に対して6.2$times$(または0.85bits)の不確実性を増大させる。
  論文  参考訳（メタデータ） (2020-05-20T19:48:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。