Fugu-MT 論文翻訳(概要): Detecting AI Flaws: Target-Driven Attacks on Internal Faults in Language Models

論文の概要: Detecting AI Flaws: Target-Driven Attacks on Internal Faults in Language Models

arxiv url: http://arxiv.org/abs/2408.14853v1
Date: Tue, 27 Aug 2024 08:12:08 GMT
ステータス: 処理完了
システム内更新日: 2024-08-28 14:33:22.617337
Title: Detecting AI Flaws: Target-Driven Attacks on Internal Faults in Language Models
Title（参考訳）: AIの欠陥検出 - 言語モデルの内部障害に対するターゲット駆動攻撃
Authors: Yuhao Du, Zhuo Li, Pengyu Cheng, Xiang Wan, Anningzhe Gao,
Abstract要約: 大規模言語モデル(LLM)は、人工知能の急速に発展する分野において焦点となっている。重要な懸念は、これらのモデルの事前学習コーパス内に有毒な物質が存在することであり、不適切な出力が発生する可能性がある。本稿では,プロンプトを最適化する代わりに,ターゲット応答を直接抽出することに焦点を当てた,ターゲット駆動型攻撃パラダイムを提案する。
参考スコア（独自算出の注目度）: 27.397408870544453
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have become a focal point in the rapidly evolving field of artificial intelligence. However, a critical concern is the presence of toxic content within the pre-training corpus of these models, which can lead to the generation of inappropriate outputs. Investigating methods for detecting internal faults in LLMs can help us understand their limitations and improve their security. Existing methods primarily focus on jailbreaking attacks, which involve manually or automatically constructing adversarial content to prompt the target LLM to generate unexpected responses. These methods rely heavily on prompt engineering, which is time-consuming and usually requires specially designed questions. To address these challenges, this paper proposes a target-driven attack paradigm that focuses on directly eliciting the target response instead of optimizing the prompts. We introduce the use of another LLM as the detector for toxic content, referred to as ToxDet. Given a target toxic response, ToxDet can generate a possible question and a preliminary answer to provoke the target model into producing desired toxic responses with meanings equivalent to the provided one. ToxDet is trained by interacting with the target LLM and receiving reward signals from it, utilizing reinforcement learning for the optimization process. While the primary focus of the target models is on open-source LLMs, the fine-tuned ToxDet can also be transferred to attack black-box models such as GPT-4o, achieving notable results. Experimental results on AdvBench and HH-Harmless datasets demonstrate the effectiveness of our methods in detecting the tendencies of target LLMs to generate harmful responses. This algorithm not only exposes vulnerabilities but also provides a valuable resource for researchers to strengthen their models against such attacks.
Abstract（参考訳）: 大規模言語モデル(LLM)は、人工知能の急速に発展する分野において焦点となっている。しかし、重要な懸念は、これらのモデルの事前学習コーパス内に有毒な物質が存在することであり、不適切な出力が発生する可能性がある。 LLMの内部欠陥を検出する方法を調べることは,その限界を理解し,セキュリティを改善するのに役立つ。既存の手法は主にジェイルブレイク攻撃に重点を置いており、敵のコンテンツを手動または自動で構築し、ターゲットのLSMに予期せぬ応答を起こさせる。これらの手法はプロンプトエンジニアリングに大きく依存しており、それは時間がかかり、通常は特別に設計された質問を必要とする。これらの課題に対処するため,本研究では,プロンプトを最適化する代わりに,ターゲット応答を直接引き出すことに焦点を当てた,ターゲット駆動型攻撃パラダイムを提案する。 ToxDet と呼ばれる毒性物質の検出装置として別の LLM を導入する。対象の有害反応が与えられた場合、ToxDetは可能な質問と予備的な回答を生成して、対象モデルを刺激し、提供されたものと同等の意味で所望の有害反応を生成する。 ToxDetは、目標LLMと対話して報酬信号を受け取り、最適化プロセスの強化学習を利用する。ターゲットモデルの主な焦点はオープンソース LLM であるが、微調整されたToxDet は GPT-4o などのブラックボックスモデルを攻撃するために移動でき、顕著な結果が得られる。 AdvBench と HH-Harmless のデータセットによる実験結果から,ターゲット LLM の傾向を検知し,有害な応答を生成する方法の有効性が示された。このアルゴリズムは脆弱性を公開するだけでなく、研究者がそのような攻撃に対してモデルを強化するための貴重なリソースも提供する。

関連論文リスト

Token Highlighter: Inspecting and Mitigating Jailbreak Prompts for Large Language Models [61.916827858666906]
大規模言語モデル(LLM)は、ユーザクエリに対する応答を提供するために、ChatGPTなどのサービスに統合されつつある。本稿では,Token Highlighterという手法を提案する。
論文参考訳（メタデータ） (2024-12-24T05:10:02Z)
Look Before You Leap: Enhancing Attention and Vigilance Regarding Harmful Content with GuidelineLLM [53.79753074854936]
大規模言語モデル(LLM)は、出現するジェイルブレイク攻撃に対してますます脆弱である。この脆弱性は現実世界のアプリケーションに重大なリスクをもたらす。本稿では,ガイドラインLLMという新しい防御パラダイムを提案する。
論文参考訳（メタデータ） (2024-12-10T12:42:33Z)
PrivAgent: Agentic-based Red-teaming for LLM Privacy Leakage [78.33839735526769]
LLMは、慎重に構築された敵のプロンプトの下で私的情報を出力することに騙される可能性がある。 PrivAgentは、プライバシー漏洩のための新しいブラックボックスレッドチームフレームワークである。
論文参考訳（メタデータ） (2024-12-07T20:09:01Z)
Probing the Safety Response Boundary of Large Language Models via Unsafe Decoding Path Generation [44.09578786678573]
大きな言語モデル(LLM)は暗黙のトラブルメーカーである。 LLMは有害なデータ収集や隠蔽攻撃に使用できる。私たちはこのデコード戦略をJVD(Jailbreak Value Decoding)と名付けます。
論文参考訳（メタデータ） (2024-08-20T09:11:21Z)
Learning diverse attacks on large language models for robust red-teaming and safety tuning [126.32539952157083]
レッドチーム、あるいは有害な応答を誘発するプロンプトの特定は、大きな言語モデルの安全なデプロイを保証するための重要なステップである。新規性と多様性を優先する明確な規則化であっても、既存のアプローチはモード崩壊または効果的な攻撃を発生させることができないことを示す。我々は,GFlowNetの微調整と二次平滑化フェーズを用いて,多種多様な効果的な攻撃プロンプトを生成するために攻撃モデルを訓練することを提案する。
論文参考訳（メタデータ） (2024-05-28T19:16:17Z)
CyberSecEval 2: A Wide-Ranging Cybersecurity Evaluation Suite for Large Language Models [6.931433424951554]
大規模言語モデル(LLM)は新たなセキュリティリスクを導入するが、これらのリスクを計測し、削減するための包括的な評価スイートはほとんどない。 LLMのセキュリティリスクと能力を定量化する新しいベンチマークであるBenchmarkNameを提案する。我々は,GPT-4,Mistral,Meta Llama 370B-Instruct,Code Llamaを含む複数のSOTA (State-of-the-art) LLMを評価した。
論文参考訳（メタデータ） (2024-04-19T20:11:12Z)
Sandwich attack: Multi-language Mixture Adaptive Attack on LLMs [9.254047358707014]
我々はemphSandwich攻撃と呼ばれる新しいブラックボックス攻撃ベクトル、多言語混合攻撃を導入する。 GoogleのBard, Gemini Pro, LLaMA-2-70-B-Chat, GPT-3.5-Turbo, GPT-4, Claude-3-OPUS の5つの異なるモデルを用いた実験により, この攻撃ベクトルは敵が有害な応答を生成するために使用できることを示した。
論文参考訳（メタデータ） (2024-04-09T18:29:42Z)
Curiosity-driven Red-teaming for Large Language Models [43.448044721642916]
大規模言語モデル(LLM)は、多くの自然言語アプリケーションにとって大きな可能性を秘めているが、誤ったまたは有害なコンテンツを生成するリスクがある。ヒューマンテスタにのみ依存することは、高価で時間を要する。好奇心駆動型レッド・チームリング (CRT) の手法は, 既存の方法と比較して, 有効性を維持したり, 向上させたりしながら, テストケースのカバレッジを向上する。
論文参考訳（メタデータ） (2024-02-29T18:55:03Z)
Causality Analysis for Evaluating the Security of Large Language Models [9.102606258312246]
大規模言語モデル(LLM)は多くの安全クリティカルなアプリケーションで採用されている。近年の研究では、LSMは相変わらず敵の摂動やトロイア攻撃などの攻撃にさらされていることが示されている。本稿では, LLMのトークン, 層, ニューロンレベルでの軽度因果解析を行うための枠組みを提案する。
論文参考訳（メタデータ） (2023-12-13T03:35:43Z)
Attack Prompt Generation for Red Teaming and Defending Large Language Models [70.157691818224]
大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
論文参考訳（メタデータ） (2023-10-19T06:15:05Z)
Multilingual Jailbreak Challenges in Large Language Models [96.74878032417054]
本研究では,大規模言語モデル(LLM)における多言語ジェイルブレイク問題の存在を明らかにする。我々は、意図しないシナリオと意図的なシナリオの2つを考えます。安全な微調整のための多言語学習データを自動的に生成する新しいtextscSelf-Defense フレームワークを提案する。
論文参考訳（メタデータ） (2023-10-10T09:44:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。