論文の概要: Use of LLMs for Illicit Purposes: Threats, Prevention Measures, and
Vulnerabilities
- arxiv url: http://arxiv.org/abs/2308.12833v1
- Date: Thu, 24 Aug 2023 14:45:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-25 13:46:37.302531
- Title: Use of LLMs for Illicit Purposes: Threats, Prevention Measures, and
Vulnerabilities
- Title(参考訳): 軽度目的のためのLCMの使用:脅威・予防対策・脆弱性
- Authors: Maximilian Mozes, Xuanli He, Bennett Kleinberg, Lewis D. Griffin
- Abstract要約: 大規模言語モデル(LLM)は詐欺、偽造、マルウェアの発生に誤用されることがある。
本稿では,LSMの生成能力による脅威と,そのような脅威に対処するための予防措置と,不完全な予防措置に起因する脆弱性との関係を分類する。
- 参考スコア(独自算出の注目度): 14.684194175806203
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spurred by the recent rapid increase in the development and distribution of
large language models (LLMs) across industry and academia, much recent work has
drawn attention to safety- and security-related threats and vulnerabilities of
LLMs, including in the context of potentially criminal activities.
Specifically, it has been shown that LLMs can be misused for fraud,
impersonation, and the generation of malware; while other authors have
considered the more general problem of AI alignment. It is important that
developers and practitioners alike are aware of security-related problems with
such models. In this paper, we provide an overview of existing - predominantly
scientific - efforts on identifying and mitigating threats and vulnerabilities
arising from LLMs. We present a taxonomy describing the relationship between
threats caused by the generative capabilities of LLMs, prevention measures
intended to address such threats, and vulnerabilities arising from imperfect
prevention measures. With our work, we hope to raise awareness of the
limitations of LLMs in light of such security concerns, among both experienced
developers and novel users of such technologies.
- Abstract(参考訳): 近年の大規模言語モデル(LLM)の産業・学界における開発・流通の急激な増加により、最近の研究は、潜在的犯罪活動の文脈を含む、LLMの安全およびセキュリティ関連の脅威と脆弱性に注意を向けている。
特に、LLMは不正、不正行為、マルウェアの発生に誤用される可能性があるが、他の著者はAIアライメントのより一般的な問題を考えてきた。
開発者や実践者がこのようなモデルでセキュリティ関連の問題に気づいていることは重要です。
本稿では,LSMによる脅威や脆弱性の特定と軽減を目的とした,既存の科学的研究の概要について述べる。
本稿では,LSMの生成能力による脅威と,そのような脅威に対処するための予防措置と,不完全な予防措置に起因する脆弱性との関係を分類する。
当社の取り組みにより、経験豊富な開発者と、そのような技術の新規ユーザの両方の間で、このようなセキュリティ上の懸念から、LSMの限界に対する認識を高めたいと思っています。
関連論文リスト
- The Wolf Within: Covert Injection of Malice into MLLM Societies via an
MLLM Operative [57.84617923683107]
本稿では,MLLM社会において,悪意のあるコンテンツの間接的伝播という新たな脆弱性について検討する。
MLLMの直接有害な出力生成とは違って,1つのMLLMエージェントを微妙に影響してプロンプトを生成する方法を示す。
この微妙で強力な間接的影響の手法は、MLLMに関連するセキュリティリスクを著しくエスカレーションしている。
論文 参考訳(メタデータ) (2024-02-20T23:08:21Z) - On the Safety Concerns of Deploying LLMs/VLMs in Robotics: Highlighting
the Risks and Vulnerabilities [50.31806287390321]
ロボットの動作を操作または誤操作することは容易であり、安全上の危険をもたらす。
我々のデータは、即時攻撃で21.2%、知覚攻撃で30.2%の平均的なパフォーマンス劣化を示す。
論文 参考訳(メタデータ) (2024-02-15T22:01:45Z) - Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [67.38554763406098]
大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。
彼らの能力は有望だが、安全を慎重に考慮する必要がある新たな脆弱性も導入している。
本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
論文 参考訳(メタデータ) (2024-02-06T18:54:07Z) - Forcing Generative Models to Degenerate Ones: The Power of Data
Poisoning Attacks [10.732558183444985]
悪意のあるアクターは、望ましくない出力を生成することを目的とした中毒攻撃を通じて、大きな言語モデル(LLM)の脆弱性を隠蔽的に利用することができる。
本報告では, 様々な生成タスクにおいて, その有効性を評価するために, 様々な中毒技術について検討する。
本研究は, 微調整段階において, 全チューニングデータサンプルの1%程度を用いてLSMに毒を盛ることが可能であることを示す。
論文 参考訳(メタデータ) (2023-12-07T23:26:06Z) - A Security Risk Taxonomy for Large Language Models [5.120567378386615]
本稿では,大規模言語モデルによるセキュリティリスクに着目し,現在の研究のギャップに対処する。
本研究は,ユーザモデル通信パイプラインに沿ったセキュリティリスクの分類法を提案する。
ターゲットと攻撃タイプによる攻撃を、プロンプトベースのインタラクションスキームに分類する。
論文 参考訳(メタデータ) (2023-11-19T20:22:05Z) - Privacy in Large Language Models: Attacks, Defenses and Future
Directions [46.30861174408193]
大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。
本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
論文 参考訳(メタデータ) (2023-10-16T13:23:54Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳(メタデータ) (2023-05-23T04:10:26Z) - Exploiting Programmatic Behavior of LLMs: Dual-Use Through Standard
Security Attacks [67.86285142381644]
命令追従型大規模言語モデルの最近の進歩は、悪意のある目的のために二重使用リスクを増幅する。
命令追従機能がコンピュータセキュリティの標準的な攻撃を可能にするため、デュアルユースを防ぐのは難しい。
本研究では,LLMがヘイトスピーチや詐欺などの悪意のあるコンテンツをターゲットにすることができることを示す。
論文 参考訳(メタデータ) (2023-02-11T15:57:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。