論文の概要: Identifying and Mitigating Privacy Risks Stemming from Language Models: A Survey
- arxiv url: http://arxiv.org/abs/2310.01424v2
- Date: Tue, 18 Jun 2024 09:14:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-20 05:04:09.900462
- Title: Identifying and Mitigating Privacy Risks Stemming from Language Models: A Survey
- Title（参考訳）: 言語モデルによるプライバシリスクの特定と緩和:調査
- Authors: Victoria Smith, Ali Shahin Shamsabadi, Carolyn Ashurst, Adrian Weller,
- Abstract要約: 大規模言語モデル(LLM)は,近年,大規模化と広範囲なトレーニングデータによるパフォーマンス向上を図っている。
機械学習モデルのトレーニングデータ記憶は、特にLLMに関して、モデルサイズに合わせてスケールする。
記憶されたテキストシーケンスは、LSMから直接リークされる可能性があり、データのプライバシに深刻な脅威をもたらす。
- 参考スコア（独自算出の注目度）: 43.063650238194384
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have shown greatly enhanced performance in recent years, attributed to increased size and extensive training data. This advancement has led to widespread interest and adoption across industries and the public. However, training data memorization in Machine Learning models scales with model size, particularly concerning for LLMs. Memorized text sequences have the potential to be directly leaked from LLMs, posing a serious threat to data privacy. Various techniques have been developed to attack LLMs and extract their training data. As these models continue to grow, this issue becomes increasingly critical. To help researchers and policymakers understand the state of knowledge around privacy attacks and mitigations, including where more work is needed, we present the first SoK on data privacy for LLMs. We (i) identify a taxonomy of salient dimensions where attacks differ on LLMs, (ii) systematize existing attacks, using our taxonomy of dimensions to highlight key trends, (iii) survey existing mitigation strategies, highlighting their strengths and limitations, and (iv) identify key gaps, demonstrating open problems and areas for concern.
- Abstract（参考訳）: 大規模言語モデル(LLM)は,近年,大規模化と広範囲なトレーニングデータによるパフォーマンス向上を図っている。
この進歩は産業や一般大衆に広く関心と普及をもたらした。
しかし、機械学習モデルにおけるトレーニングデータの記憶は、特にLLMに関して、モデルサイズとスケールする。
記憶されたテキストシーケンスは、LSMから直接リークされる可能性があり、データのプライバシに深刻な脅威をもたらす。
LLMを攻撃し、トレーニングデータを抽出する様々な技術が開発されている。
これらのモデルが成長を続けるにつれ、この問題はますます重要になっている。
研究者や政策立案者は、より多くの作業が必要な場所を含むプライバシー攻撃や緩和に関する知識の状況を理解するために、LSMのデータプライバシに関する最初のSoKを提示します。
我が家
一 攻撃がLLMによって異なる有能な次元の分類を定めること。
(II)従来の攻撃を体系化し、我々の次元の分類を用いて重要な傾向を浮き彫りにする。
三 既存の緩和策を調査し、その強みと限界を強調して、
(4)重要なギャップを特定し、オープンな問題と関心のある領域を示す。
関連論文リスト
- Undesirable Memorization in Large Language Models: A Survey [5.659933808910005]
大規模言語モデル(LLM)における記憶の話題に関する知識体系化(SoK)を提案する。
記憶とは、モデルがトレーニングデータからフレーズやフレーズを保存し、再生する傾向があることである。
本研究は,記憶現象に寄与する要因の解析に続き,記憶現象を測定するために用いられる指標と方法について議論する。
論文 参考訳（メタデータ） (2024-10-03T16:34:46Z) - LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。
この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。
本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
論文 参考訳（メタデータ） (2024-08-23T01:37:29Z) - Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions [12.451936012379319]
大規模言語モデル(LLM)は、人工知能の大幅な進歩を表し、様々な領域にまたがる応用を見つける。
トレーニングのための大規模なインターネットソースデータセットへの依存は、注目すべきプライバシー問題を引き起こす。
特定のアプリケーション固有のシナリオでは、これらのモデルをプライベートデータで微調整する必要があります。
論文 参考訳（メタデータ） (2024-08-10T05:41:19Z) - A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。
LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。
本稿では,既存のLVLM攻撃の様々な形態について概説する。
論文 参考訳（メタデータ） (2024-07-10T06:57:58Z) - Unique Security and Privacy Threats of Large Language Model: A Comprehensive Survey [46.19229410404056]
大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げた。
これらのモデルは、強力な言語理解と生成能力を示すために、広大なデータセットでトレーニングされている。
プライバシーとセキュリティの問題は、そのライフサイクルを通じて明らかになっている。
論文 参考訳（メタデータ） (2024-06-12T07:55:32Z) - A Survey on Detection of LLMs-Generated Content [97.87912800179531]
LLMの生成する内容を検出する能力が最重要視されている。
既存の検出戦略とベンチマークの詳細な概要を提供する。
また、様々な攻撃から守るための多面的アプローチの必要性を示唆する。
論文 参考訳（メタデータ） (2023-10-24T09:10:26Z) - Privacy in Large Language Models: Attacks, Defenses and Future Directions [84.73301039987128]
大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。
本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
論文 参考訳（メタデータ） (2023-10-16T13:23:54Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳（メタデータ） (2023-05-23T04:10:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。