論文の概要: Well, that escalated quickly: The Single-Turn Crescendo Attack (STCA)

• arxiv url: http://arxiv.org/abs/2409.03131v1
• Date: Wed, 4 Sep 2024 23:45:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 22:44:13.262649
• Title: Well, that escalated quickly: The Single-Turn Crescendo Attack (STCA)
• Title（参考訳）: それは急速にエスカレートした:Single-Turn Crescendo Attack (STCA)
• Authors: Alan Aqrawi,
• Abstract要約: 本稿では,大規模言語モデル(LLM)に対する敵対的攻撃に対する新しいアプローチについて検討する。 シングル・トゥルン・クレシェンド・アタックは、マーク・ルシノヴィチ、アフメド・セイラム、ロネン・エルダンによって設立されたマルチターン・クレシェンド・アタックに基づいている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper explores a novel approach to adversarial attacks on large language models (LLM): the Single-Turn Crescendo Attack (STCA). The STCA builds upon the multi-turn crescendo attack established by Mark Russinovich, Ahmed Salem, Ronen Eldan. Traditional multi-turn adversarial strategies gradually escalate the context to elicit harmful or controversial responses from LLMs. However, this paper introduces a more efficient method where the escalation is condensed into a single interaction. By carefully crafting the prompt to simulate an extended dialogue, the attack bypasses typical content moderation systems, leading to the generation of responses that would normally be filtered out. I demonstrate this technique through a few case studies. The results highlight vulnerabilities in current LLMs and underscore the need for more robust safeguards. This work contributes to the broader discourse on responsible AI (RAI) safety and adversarial testing, providing insights and practical examples for researchers and developers. This method is unexplored in the literature, making it a novel contribution to the field.
• Abstract（参考訳）: 本稿では,大規模言語モデルに対する敵対的攻撃(LLM: Single-Turn Crescendo Attack,STCA: Single-Turn Crescendo Attack)に対する新たなアプローチについて検討する。 STCAは、マーク・ルシノヴィッチ、アフメド・セイラム、ロネン・エルダンが設立したマルチターン・クレシデンド攻撃に基づいている。 従来の多ターン敵戦略は、LSMから有害または論争的な反応を引き出すために、文脈を徐々にエスカレートする。 しかし,本研究では,エスカレーションを1つの相互作用に凝縮するより効率的な手法を提案する。 拡張ダイアログをシミュレートするプロンプトを慎重に作成することで、攻撃は典型的なコンテンツモデレーションシステムをバイパスし、通常はフィルタリングされる応答を生成する。 私はいくつかのケーススタディを通してこのテクニックを実演します。 その結果、現在のLLMの脆弱性を強調し、より堅牢なセーフガードの必要性を浮き彫りにした。 この研究は、責任あるAI(RAI)の安全性と敵対的なテストに関する幅広い議論に寄与し、研究者や開発者にとって洞察と実践的な例を提供する。 この手法は文学では未解明であり、この分野に新しい貢献をしている。

関連論文リスト

• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)
• An indicator for effectiveness of text-to-image guardrails utilizing the Single-Turn Crescendo Attack (STCA) [0.0]
  Single-Turn Crescendo Attack (STCA)は、テキストからテキストへのAIモデルの倫理的保護を回避するために設計された革新的な方法である。 本研究は,テキスト・ツー・イメージ・モデルにおけるガードレールの堅牢性を評価するための枠組みを提供する。
  論文  参考訳（メタデータ） (2024-11-27T19:09:16Z)
• You Know What I'm Saying: Jailbreak Attack via Implicit Reference [22.520950422702757]
  本研究は、以前見過ごされた脆弱性を特定し、Implicit Reference (AIR) による攻撃(Attack)と呼ぶ。 AIRは悪意のある目的を許容可能な目的に分解し、コンテキスト内の暗黙の参照を通してそれらをリンクする。 我々の実験は、AIRが最先端のLLMに対して有効であることを示し、ほとんどのモデルで90%を超える攻撃成功率(ASR)を達成した。
  論文  参考訳（メタデータ） (2024-10-04T18:42:57Z)
• CLIP-Guided Generative Networks for Transferable Targeted Adversarial Attacks [52.29186466633699]
  トランスファー可能な敵攻撃は、ブラックボックスのシナリオで敵が特定した予測を出力するモデルを誤解させることを目的としている。 textitsingle-target 生成攻撃は、高い転送可能な摂動を生成するために、各ターゲットクラスのジェネレータを訓練する。 textbfCLIP-guided textbfGenerative textbfNetwork with textbfCross-attention module (CGNC) to enhance multi-target attack。
  論文  参考訳（メタデータ） (2024-07-14T12:30:32Z)
• Defending Large Language Models Against Attacks With Residual Stream Activation Analysis [0.0]
  大規模言語モデル(LLM)は敵の脅威に対して脆弱である。 本稿では, LLM へのホワイトボックスアクセスを前提とした, 革新的な防御戦略を提案する。 そこで本研究では,アタックプロンプト分類のための残差ストリームの固有なアクティベーションパターンを解析するための新しい手法を適用した。
  論文  参考訳（メタデータ） (2024-06-05T13:06:33Z)
• Learning diverse attacks on large language models for robust red-teaming and safety tuning [126.32539952157083]
  レッドチーム、あるいは有害な応答を誘発するプロンプトの特定は、大きな言語モデルの安全なデプロイを保証するための重要なステップである。 新規性と多様性を優先する明確な規則化であっても、既存のアプローチはモード崩壊または効果的な攻撃を発生させることができないことを示す。 我々は,GFlowNetの微調整と二次平滑化フェーズを用いて,多種多様な効果的な攻撃プロンプトを生成するために攻撃モデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2024-05-28T19:16:17Z)
• Unveiling Vulnerability of Self-Attention [61.85150061213987]
  事前訓練された言語モデル(PLM)は、マイナーな単語変更に対して脆弱であることが示されている。 本稿では,変圧器を用いたPSMの基本構造,自己注意機構について検討する。 構造的摂動によってSAを効果的に堅牢にする新しい平滑化技術である textitS-Attend を導入する。
  論文  参考訳（メタデータ） (2024-02-26T10:31:45Z)
• ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings [58.82536530615557]
  本稿では, 連続的な逆接接尾辞埋め込みを一貫性のある, 理解可能なテキストに変換するために, ASETF (Adversarial Suffix Embedding Translation Framework) を提案する。 本手法は,逆接接尾辞の計算時間を著しく短縮し,既存の手法よりもはるかに優れた攻撃成功率を実現する。
  論文  参考訳（メタデータ） (2024-02-25T06:46:27Z)
• Hijacking Large Language Models via Adversarial In-Context Learning [8.15194326639149]
  In-context Learning (ICL)は、特定の下流タスクにLLMを活用する強力なパラダイムとして登場した。 既存の攻撃は、検出しやすく、外部モデルに依存しているか、ICLに対する特異性を欠いている。 この研究は、これらの問題に対処するために、新たなICLに対するトランスファー可能な攻撃を導入する。
  論文  参考訳（メタデータ） (2023-11-16T15:01:48Z)
• CARBEN: Composite Adversarial Robustness Benchmark [70.05004034081377]
  本稿では,複合対向攻撃 (CAA) が画像に与える影響を実証する。 異なるモデルのリアルタイム推論を提供し、攻撃レベルのパラメータの設定を容易にする。 CAAに対する敵対的堅牢性を評価するためのリーダーボードも導入されている。
  論文  参考訳（メタデータ） (2022-07-16T01:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。