論文の概要: Survey of Vulnerabilities in Large Language Models Revealed by
Adversarial Attacks
- arxiv url: http://arxiv.org/abs/2310.10844v1
- Date: Mon, 16 Oct 2023 21:37:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 18:45:10.626749
- Title: Survey of Vulnerabilities in Large Language Models Revealed by
Adversarial Attacks
- Title(参考訳): 敵意攻撃による大規模言語モデルの脆弱性調査
- Authors: Erfan Shayegani, Md Abdullah Al Mamun, Yu Fu, Pedram Zaree, Yue Dong,
Nael Abu-Ghazaleh
- Abstract要約: 大規模言語モデル(LLM)はアーキテクチャと能力において急速に進歩しています。
複雑なシステムに深く統合されるにつれて、セキュリティ特性を精査する緊急性が高まっている。
本稿では,LSMに対する対人攻撃の新たな学際的分野について調査する。
- 参考スコア(独自算出の注目度): 5.860289498416911
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are swiftly advancing in architecture and
capability, and as they integrate more deeply into complex systems, the urgency
to scrutinize their security properties grows. This paper surveys research in
the emerging interdisciplinary field of adversarial attacks on LLMs, a subfield
of trustworthy ML, combining the perspectives of Natural Language Processing
and Security. Prior work has shown that even safety-aligned LLMs (via
instruction tuning and reinforcement learning through human feedback) can be
susceptible to adversarial attacks, which exploit weaknesses and mislead AI
systems, as evidenced by the prevalence of `jailbreak' attacks on models like
ChatGPT and Bard. In this survey, we first provide an overview of large
language models, describe their safety alignment, and categorize existing
research based on various learning structures: textual-only attacks,
multi-modal attacks, and additional attack methods specifically targeting
complex systems, such as federated learning or multi-agent systems. We also
offer comprehensive remarks on works that focus on the fundamental sources of
vulnerabilities and potential defenses. To make this field more accessible to
newcomers, we present a systematic review of existing works, a structured
typology of adversarial attack concepts, and additional resources, including
slides for presentations on related topics at the 62nd Annual Meeting of the
Association for Computational Linguistics (ACL'24).
- Abstract(参考訳): 大規模言語モデル(llm)はアーキテクチャと能力において急速に進歩しており、複雑なシステムにより深く統合されるにつれて、セキュリティ特性を精査する緊急性が高まる。
本稿では, 自然言語処理とセキュリティの両面から, 信頼に値するMLのサブフィールドであるLLMに対する, 学際的攻撃の新たな分野について調査する。
以前の研究は、安全に整合したLSMでさえ(人間のフィードバックを通じて指導チューニングと強化学習を通じて)、ChatGPTやBardのようなモデルに対する'jailbreak'攻撃の頻度によって証明されているように、弱点や誤ったAIシステムを悪用する敵攻撃の影響を受けやすいことを示した。
本調査ではまず,大規模言語モデルの概要,安全性の整合性の説明,テキストのみの攻撃,マルチモーダル攻撃,フェデレート学習やマルチエージェントシステムなどの複雑なシステムを対象とした攻撃方法など,さまざまな学習構造に基づく既存研究の分類を行う。
また、脆弱性や潜在的な防御の基本的な源泉に焦点を当てた作業に関する包括的な発言も提供します。
この分野を新参者にとってよりアクセスしやすいものにするため,本論文では,既存の著作物の体系的レビュー,敵の攻撃概念の構造化的タイポロジー,および関連するトピックに関するプレゼンテーションのスライドを含む追加リソースについて紹介する(acl'24)。
関連論文リスト
- Exploring Safety Generalization Challenges of Large Language Models via Code [126.80573601180411]
本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。
調査によると、CodeAttackは全モデルの80%以上の安全ガードレールを一貫してバイパスしている。
CodeAttackと自然言語の間の大きな分散ギャップは、安全性の一般化を弱める。
論文 参考訳(メタデータ) (2024-03-12T17:55:38Z) - Large Language Models in Cybersecurity: State-of-the-Art [4.990712773805833]
大規模言語モデル(LLM)の台頭は、私たちの知性の理解に革命をもたらした。
本研究は, サイバーセキュリティの領域におけるLLMの防衛的, 敵的応用の徹底的な評価を, 既存の文献を考察した。
論文 参考訳(メタデータ) (2024-01-30T16:55:25Z) - Security and Privacy Challenges of Large Language Models: A Survey [2.9480813253164535]
LLM(Large Language Models)は、テキストの生成や要約、言語翻訳、質問応答など、非常に優れた機能を示し、複数の分野に貢献している。
これらのモデルは、Jailbreak攻撃、データ中毒攻撃、Personally Identible Information(PII)漏洩攻撃など、セキュリティやプライバシ攻撃にも脆弱である。
この調査では、トレーニングデータとユーザの両方に対するLLMのセキュリティとプライバシの課題と、輸送、教育、医療といったさまざまな領域におけるアプリケーションベースのリスクについて、徹底的にレビューする。
論文 参考訳(メタデータ) (2024-01-30T04:00:54Z) - Beyond Gradient and Priors in Privacy Attacks: Leveraging Pooler Layer
Inputs of Language Models in Federated Learning [27.03994310867473]
本稿では,現代言語モデルのアーキテクチャの脆弱性を狙う2段階のプライバシ攻撃戦略を提案する。
比較実験は、様々なデータセットやシナリオで優れた攻撃性能を示す。
私たちは、大きな言語モデルの設計において、これらの潜在的なプライバシーリスクを認識し、対処するようコミュニティに呼びかけます。
論文 参考訳(メタデータ) (2023-12-10T01:19:59Z) - Attack Prompt Generation for Red Teaming and Defending Large Language
Models [70.157691818224]
大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。
本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-19T06:15:05Z) - Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。
我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。
本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
論文 参考訳(メタデータ) (2023-06-22T22:13:03Z) - COVER: A Heuristic Greedy Adversarial Attack on Prompt-based Learning in
Language Models [4.776465250559034]
ブラックボックスシナリオにおける手動テンプレートに対するプロンプトベースの逆攻撃を提案する。
まず,手動テンプレートを個別に分割するための文字レベルと単語レベルのアプローチを設計する。
そして、上記の破壊的アプローチに基づく攻撃に対する欲求的アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-09T03:53:42Z) - Attacks in Adversarial Machine Learning: A Systematic Survey from the
Life-cycle Perspective [69.25513235556635]
敵対的機械学習(英: Adversarial Machine Learning、AML)は、機械学習の逆行現象を研究する。
機械学習システムの異なる段階で発生するこの敵対現象を探求するために、いくつかのパラダイムが最近開発された。
既存の攻撃パラダイムをカバーするための統一的な数学的枠組みを提案する。
論文 参考訳(メタデータ) (2023-02-19T02:12:21Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳(メタデータ) (2021-11-04T12:59:55Z) - Trojaning Language Models for Fun and Profit [53.45727748224679]
TROJAN-LMは、悪質に製作されたLMがホストNLPシステムを故障させる新しいタイプのトロイの木馬攻撃である。
セキュリティクリティカルなNLPタスクにおいて、3つの最先端のLMを実証的に研究することにより、TROJAN-LMが以下の特性を持つことを示す。
論文 参考訳(メタデータ) (2020-08-01T18:22:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。