論文の概要: A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly

• arxiv url: http://arxiv.org/abs/2312.02003v2
• Date: Fri, 26 Jan 2024 05:14:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-29 17:38:41.399835
• Title: A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly
• Title（参考訳）: 大規模言語モデル(llm)のセキュリティとプライバシに関する調査
• Authors: Yifan Yao, Jinhao Duan, Kaidi Xu, Yuanfang Cai, Zhibo Sun and Yue Zhang
• Abstract要約: 大規模言語モデル(LLM)は、自然言語の理解と生成に革命をもたらした。 本稿では,LLMとセキュリティとプライバシの交わりについて考察する。
• 参考スコア（独自算出の注目度）: 22.819970080579004
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Large Language Models (LLMs), such as ChatGPT and Bard, have revolutionized natural language understanding and generation. They possess deep language comprehension, human-like text generation capabilities, contextual awareness, and robust problem-solving skills, making them invaluable in various domains (e.g., search engines, customer support, translation). In the meantime, LLMs have also gained traction in the security community, revealing security vulnerabilities and showcasing their potential in security-related tasks. This paper explores the intersection of LLMs with security and privacy. Specifically, we investigate how LLMs positively impact security and privacy, potential risks and threats associated with their use, and inherent vulnerabilities within LLMs. Through a comprehensive literature review, the paper categorizes the papers into "The Good" (beneficial LLM applications), "The Bad" (offensive applications), and "The Ugly" (vulnerabilities of LLMs and their defenses). We have some interesting findings. For example, LLMs have proven to enhance code security (code vulnerability detection) and data privacy (data confidentiality protection), outperforming traditional methods. However, they can also be harnessed for various attacks (particularly user-level attacks) due to their human-like reasoning abilities. We have identified areas that require further research efforts. For example, Research on model and parameter extraction attacks is limited and often theoretical, hindered by LLM parameter scale and confidentiality. Safe instruction tuning, a recent development, requires more exploration. We hope that our work can shed light on the LLMs' potential to both bolster and jeopardize cybersecurity.
• Abstract（参考訳）: chatgptやbardといった大規模言語モデル(llm)は、自然言語理解と生成に革命をもたらした。 それらは、深い言語理解、人間に似たテキスト生成能力、文脈認識、堅牢な問題解決スキルを持ち、様々な領域(検索エンジン、カスタマーサポート、翻訳など)で有用である。 一方、LLMはセキュリティコミュニティでも注目を集めており、セキュリティ上の脆弱性を明らかにし、セキュリティ関連のタスクにおけるその可能性を示している。 本稿では,LLMとセキュリティとプライバシの交わりについて考察する。 具体的には、LSMがセキュリティとプライバシ、それらの使用に関連する潜在的なリスクと脅威、およびLSM内の固有の脆弱性にどう影響するかを検討する。 この論文は包括的な文献レビューを通じて、論文を「善(the good)」、「悪(the bad)」、「悪(the ugly)」(llmとその防御)に分類している。 興味深い発見があります 例えば、LLMはコードセキュリティ(コードの脆弱性検出)とデータプライバシ(データの機密性保護)を強化し、従来の方法よりも優れています。 しかし、人間のような推論能力により、様々な攻撃(特にユーザーレベルの攻撃)にも利用できる。 我々はさらなる研究を必要とする分野を特定した。 例えば、モデルとパラメータ抽出攻撃の研究は、LLMパラメータスケールと機密性によって制限され、しばしば理論的に妨げられる。 最近の開発であるセーフインストラクションチューニングは、さらなる探索を必要とする。 LLMがサイバーセキュリティを強化し、危険に晒す可能性に光を当てられることを願っています。

関連論文リスト

• Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
  最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。 本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。 我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
  論文  参考訳（メタデータ） (2025-02-12T17:19:36Z)
• Emerging Security Challenges of Large Language Models [6.151633954305939]
  大規模言語モデル(LLM)は、多くの異なる分野において短期間で記録的な普及を遂げた。 これらは、特定の下流タスクに合わせて調整されることなく、多様なデータでトレーニングされたオープンエンドモデルである。 従来の機械学習(ML)モデルは、敵の攻撃に対して脆弱である。
  論文  参考訳（メタデータ） (2024-12-23T14:36:37Z)
• Evaluation of LLM Vulnerabilities to Being Misused for Personalized Disinformation Generation [0.5070610131852027]
  大型言語モデル(LLM)は、偽ニュース記事を生成するために効果的に誤用することができる。 本研究は,近年のオープンおよびクローズドLCMの脆弱性評価により,このギャップを埋めるものである。 以上の結果から,より強力な安全フィルターとディファイラの必要性が示された。
  論文  参考訳（メタデータ） (2024-12-18T09:48:53Z)
• LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
  大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。 この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。 本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
  論文  参考訳（メタデータ） (2024-08-23T01:37:29Z)
• Security and Privacy Challenges of Large Language Models: A Survey [2.6986500640871482]
  LLM(Large Language Models)は、テキストの生成や要約、言語翻訳、質問応答など、非常に優れた機能を示し、複数の分野に貢献している。 これらのモデルは、Jailbreak攻撃、データ中毒攻撃、Personally Identible Information(PII)漏洩攻撃など、セキュリティやプライバシ攻撃にも脆弱である。 この調査では、トレーニングデータとユーザの両方に対するLLMのセキュリティとプライバシの課題と、輸送、教育、医療といったさまざまな領域におけるアプリケーションベースのリスクについて、徹底的にレビューする。
  論文  参考訳（メタデータ） (2024-01-30T04:00:54Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• Privacy in Large Language Models: Attacks, Defenses and Future Directions [84.73301039987128]
  大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。 本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
  論文  参考訳（メタデータ） (2023-10-16T13:23:54Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)
• Multi-step Jailbreaking Privacy Attacks on ChatGPT [47.10284364632862]
  我々は,OpenAI の ChatGPT と ChatGPT によって強化された New Bing のプライバシー上の脅威について検討した。 我々は、当社の主張を裏付ける広範な実験を行い、LLMのプライバシーへの影響について論じる。
  論文  参考訳（メタデータ） (2023-04-11T13:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。