論文の概要: Differentially Private Attention Computation
- arxiv url: http://arxiv.org/abs/2305.04701v1
- Date: Mon, 8 May 2023 13:32:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 14:19:51.780805
- Title: Differentially Private Attention Computation
- Title(参考訳): 微分的にプライベートな注意計算
- Authors: Yeqi Gao, Zhao Song, Xin Yang
- Abstract要約: 大規模言語モデル(LLM)は、日常生活の多くの側面に大きな影響を与えている。
大きな言語モデルの推論結果に関する重要な問題のひとつは、セキュリティとプライバシである。
注意行列を微分的にプライベートに近似する方法を示すための証明可能な結果を提供する。
- 参考スコア(独自算出の注目度): 20.27253144784876
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models (LLMs) have had a profound impact on numerous aspects
of daily life including natural language processing, content generation,
research methodologies and so on. However, one crucial issue concerning the
inference results of large language models is security and privacy. In many
scenarios, the results generated by LLMs could possibly leak many confidential
or copyright information. A recent beautiful and breakthrough work [Vyas,
Kakade and Barak 2023] focus on such privacy issue of the LLMs from theoretical
perspective. It is well-known that computing the attention matrix is one of the
major task during the LLMs computation. Thus, how to give a provable privately
guarantees of computing the attention matrix is an important research
direction.
Previous work [Alman and Song 2023, Brand, Song and Zhou 2023] have proposed
provable tight result for fast computation of attention without considering
privacy concerns. One natural mathematical formulation to quantity the privacy
in theoretical computer science graduate school textbook is differential
privacy. Inspired by [Vyas, Kakade and Barak 2023], in this work, we provide a
provable result for showing how to differentially private approximate the
attention matrix.
From technique perspective, our result replies on a pioneering work in the
area of differential privacy by [Alabi, Kothari, Tankala, Venkat and Zhang
2022].
- Abstract(参考訳): 大規模言語モデル(llm)は、自然言語処理、コンテンツ生成、研究方法論など、日常生活の多くの側面に大きな影響を与えてきた。
しかしながら、大規模な言語モデルの推論結果に関する重要な問題のひとつは、セキュリティとプライバシである。
多くのシナリオにおいて、LLMが生成した結果は、多くの機密情報や著作権情報を漏洩させる可能性がある。
最近の美しい画期的な研究(Vyas, Kakade, Barak 2023)は、理論的な観点からLLMのこのようなプライバシー問題に焦点を当てている。
注意行列の計算がllms計算における主要なタスクの1つであることはよく知られている。
したがって、注意行列の計算をプライベートに保証する方法は、重要な研究の方向性である。
これまでの研究(alman and song 2023, brand, song and zhou 2023)では,プライバシの懸念を考慮せずに,迅速な注意の計算を可能にするための厳密な結果が提案されている。
理論計算機科学大学院教科書におけるプライバシーを量化する自然な数学的定式化の一つは微分プライバシーである。
この研究で[Vyas, Kakade, Barak 2023] に着想を得て、注意行列を微分的にプライベートに近似する方法を示す証明可能な結果を与える。
技術の観点からは, 差動プライバシの分野で [alabi, kothari, tankala, venkat, zhang 2022] による先駆的な研究に回答する。
関連論文リスト
- Can LLMs Keep a Secret? Testing Privacy Implications of Language Models
via Contextual Integrity Theory [86.8514623654506]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-10-27T04:15:30Z) - Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework [6.828884629694705]
本稿では,LLMのプライバシ生成モデルであるPrivChatGPTという概念モデルを提案する。
PrivChatGPTは、データキュレーション/前処理中にユーザのプライバシを保護し、プライベートコンテキストの保存と大規模データのプライベートトレーニングプロセスという2つの主要コンポーネントから構成される。
論文 参考訳(メタデータ) (2023-10-19T06:55:13Z) - Beyond Memorization: Violating Privacy Via Inference with Large Language Models [2.9373912230684565]
本稿では,テキストから個人属性を推測する事前学習言語モデルの能力に関する,最初の総合的研究について述べる。
以上の結果から,現在のLCMでは,従来は達成不可能な規模で個人データを推測することが可能であることが示唆された。
論文 参考訳(メタデータ) (2023-10-11T08:32:46Z) - Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。
オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。
本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
論文 参考訳(メタデータ) (2023-10-10T15:41:26Z) - Adaptive Privacy Composition for Accuracy-first Mechanisms [55.53725113597539]
ノイズ低減機構はますます正確な答えを生み出す。
アナリストは、公表された最も騒々しい、あるいは最も正確な回答のプライバシー費用のみを支払う。
ポスト前のプライベートメカニズムがどのように構成されるかは、まだ研究されていない。
我々は、分析者が微分プライベートとポストプライベートのメカニズムを適応的に切り替えることのできるプライバシーフィルタを開発した。
論文 参考訳(メタデータ) (2023-06-24T00:33:34Z) - On Differentially Private Online Predictions [74.01773626153098]
オンラインプロセスを扱うために,共同微分プライバシーのインタラクティブなバリエーションを導入する。
グループプライバシ、コンポジション、ポストプロセッシングの(適切なバリエーション)を満たすことを実証する。
次に、オンライン分類の基本設定において、インタラクティブな共同プライバシーのコストについて検討する。
論文 参考訳(メタデータ) (2023-02-27T19:18:01Z) - Privacy in Practice: Private COVID-19 Detection in X-Ray Images
(Extended Version) [3.750713193320627]
私たちは、差分プライバシー(DP)を満たす機械学習モデルを作成します。
我々は、ユーティリティとプライバシのトレードオフをより広範囲に評価し、より厳格なプライバシー予算について検討する。
以上の結果から,MIAの課題依存的実践的脅威によって,必要なプライバシーレベルが異なる可能性が示唆された。
論文 参考訳(メタデータ) (2022-11-21T13:22:29Z) - Algorithms with More Granular Differential Privacy Guarantees [65.3684804101664]
我々は、属性ごとのプライバシー保証を定量化できる部分微分プライバシー(DP)について検討する。
本研究では,複数の基本データ分析および学習タスクについて検討し,属性ごとのプライバシパラメータが個人全体のプライバシーパラメータよりも小さい設計アルゴリズムについて検討する。
論文 参考訳(メタデータ) (2022-09-08T22:43:50Z) - More Than Privacy: Applying Differential Privacy in Key Areas of
Artificial Intelligence [62.3133247463974]
差分プライバシーは、AIのプライバシー保護以上のことができることを示す。
また、セキュリティを改善し、学習を安定させ、公正なモデルを構築し、AIの選択領域にコンポジションを課すためにも使用できる。
論文 参考訳(メタデータ) (2020-08-05T03:07:36Z) - Auditing Differentially Private Machine Learning: How Private is Private
SGD? [16.812900569416062]
我々は、差分的プライベートSGDが、最先端の分析によって保証されているものよりも、実際に優れたプライバシーを提供するかどうかを調査する。
われわれは、新しいデータ中毒攻撃を通じて、現実的なプライバシー攻撃に対応している。
論文 参考訳(メタデータ) (2020-06-13T20:00:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。