論文の概要: Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions

• arxiv url: http://arxiv.org/abs/2501.01872v1
• Date: Fri, 03 Jan 2025 15:40:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 16:38:31.629096
• Title: Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions
• Title（参考訳）: 自己に対する論理の転換 : 対照的な質問を通してモデルディフェンスを提案する
• Authors: Rachneet Sachdeva, Rima Hazra, Iryna Gurevych,
• Abstract要約: 非倫理的反応を誘発する対照的な推論を利用したジェイルブレイク手法であるPOATEを導入する。 POATEは意味論的に反対の意図でプロンプトを生成し、敵テンプレートと組み合わせて有害な応答を生成するためのモデルを微妙に指示する。
• 参考スコア（独自算出の注目度）: 51.51850981481236
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Despite significant efforts to align large language models with human values and ethical guidelines, these models remain susceptible to sophisticated jailbreak attacks that exploit their reasoning capabilities. Traditional safety mechanisms often focus on detecting explicit malicious intent, leaving deeper vulnerabilities unaddressed. In this work, we introduce a jailbreak technique, POATE (Polar Opposite query generation, Adversarial Template construction, and Elaboration), which leverages contrastive reasoning to elicit unethical responses. POATE generates prompts with semantically opposite intents and combines them with adversarial templates to subtly direct models toward producing harmful responses. We conduct extensive evaluations across six diverse language model families of varying parameter sizes, including LLaMA3, Gemma2, Phi3, and GPT-4, to demonstrate the robustness of the attack, achieving significantly higher attack success rates (~44%) compared to existing methods. We evaluate our proposed attack against seven safety defenses, revealing their limitations in addressing reasoning-based vulnerabilities. To counteract this, we propose a defense strategy that improves reasoning robustness through chain-of-thought prompting and reverse thinking, mitigating reasoning-driven adversarial exploits.
• Abstract（参考訳）: 大きな言語モデルと人間の価値観と倫理的ガイドラインを整合させる大きな努力にもかかわらず、これらのモデルは、彼らの推論能力を利用する洗練されたジェイルブレイク攻撃の影響を受けやすいままである。 従来型の安全メカニズムは、悪質な意図を明示的に検出することに集中しており、より深い脆弱性は未修正のままである。 そこで本研究では,非倫理的応答を引き出すために,対照的な推論を利用するジェイルブレイク手法である POATE (Polar Opposite query generation, Adversarial Template construction, and Elaboration) を導入する。 POATEは意味論的に反対の意図でプロンプトを生成し、敵テンプレートと組み合わせて有害な応答を生成するためのモデルを微妙に指示する。 LLaMA3, Gemma2, Phi3, GPT-4など, パラメータサイズの異なる6種類の言語モデル群に対して広範囲に評価を行い, 攻撃の堅牢性を実証し, 既存手法に比べて攻撃成功率(約44%)を著しく向上させた。 提案した7つの安全防衛に対する攻撃について評価し, 推論に基づく脆弱性に対処する際の限界を明らかにした。 これに対抗するために、我々は、思考の連鎖と逆思考による推論堅牢性を向上し、推論駆動の敵攻撃を緩和する防衛戦略を提案する。

関連論文リスト

• Towards Invisible Backdoor Attack on Text-to-Image Diffusion Model [70.03122709795122]
  テキストと画像の拡散モデルをターゲットにしたバックドア攻撃が急速に進んでいる。 現在のバックドアサンプルは良性サンプルと比較して2つの重要な異常を示すことが多い。 Invisible Backdoor Attack (IBA) を提案する。
  論文  参考訳（メタデータ） (2025-03-22T10:41:46Z)
• Mind the Gap: Detecting Black-box Adversarial Attacks in the Making through Query Update Analysis [3.795071937009966]
  アドリアックは機械学習(ML)モデルの整合性を損なう可能性がある。 本稿では,逆ノイズインスタンスが生成されているかどうかを検出するフレームワークを提案する。 適応攻撃を含む8つの最先端攻撃に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-03-04T20:25:12Z)
• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)
• A Realistic Threat Model for Large Language Model Jailbreaks [87.64278063236847]
  本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。 私たちの脅威モデルは、パープレキシティの制約を組み合わせることで、ジェイルブレイクが自然のテキストからどれだけ逸脱するかを測定します。 我々は、この新しい現実的な脅威モデルに人気のある攻撃を適用する。
  論文  参考訳（メタデータ） (2024-10-21T17:27:01Z)
• You Know What I'm Saying: Jailbreak Attack via Implicit Reference [22.520950422702757]
  本研究は、以前見過ごされた脆弱性を特定し、Implicit Reference (AIR) による攻撃(Attack)と呼ぶ。 AIRは悪意のある目的を許容可能な目的に分解し、コンテキスト内の暗黙の参照を通してそれらをリンクする。 我々の実験は、AIRが最先端のLLMに対して有効であることを示し、ほとんどのモデルで90%を超える攻撃成功率(ASR)を達成した。
  論文  参考訳（メタデータ） (2024-10-04T18:42:57Z)
• Prefix Guidance: A Steering Wheel for Large Language Models to Defend Against Jailbreak Attacks [27.11523234556414]
  我々は,プリフィックスガイダンス(PG)という,プラグアンドプレイで容易に配置可能なジェイルブレイク防御フレームワークを提案する。 PGは、モデルの出力の最初の数個のトークンを直接設定することで、有害なプロンプトを特定するようモデルに誘導する。 3つのモデルと5つの攻撃方法におけるPGの有効性を実証する。
  論文  参考訳（メタデータ） (2024-08-15T14:51:32Z)
• Imposter.AI: Adversarial Attacks with Hidden Intentions towards Aligned Large Language Models [13.225041704917905]
  本研究では,大規模言語モデルから有害情報を抽出するために,人間の会話戦略を活かした攻撃機構を明らかにする。 明示的な悪意のある応答をターゲットとする従来の手法とは異なり、我々のアプローチは応答で提供される情報の性質を深く掘り下げている。
  論文  参考訳（メタデータ） (2024-07-22T06:04:29Z)
• Counterfactual Explainable Incremental Prompt Attack Analysis on Large Language Models [32.03992137755351]
  本研究は,大規模言語モデル(LLM)における安全性とプライバシ対策の推進的必要性に光を当てるものである。 本稿では,攻撃効果を定量的に測定するために,特定の方法でプロンプトを誘導する新しい手法であるCEIPAを提案する。
  論文  参考訳（メタデータ） (2024-07-12T14:26:14Z)
• AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens [83.08119913279488]
  本稿では,ジェイルブレイク攻撃と防衛技術における依存関係の体系的解析について述べる。 包括的な、自動化された、論理的な3つのフレームワークを提案します。 このアンサンブル・ジェイルブレイク・アタックと防衛の枠組みは,既存の研究を著しく上回る結果となった。
  論文  参考訳（メタデータ） (2024-06-06T07:24:41Z)
• Defending Large Language Models against Jailbreak Attacks via Semantic Smoothing [107.97160023681184]
  適応型大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 提案するSEMANTICSMOOTHは,与えられた入力プロンプトのセマンティック変換されたコピーの予測を集約するスムージングベースのディフェンスである。
  論文  参考訳（メタデータ） (2024-02-25T20:36:03Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• RECESS Vaccine for Federated Learning: Proactive Defense Against Model Poisoning Attacks [20.55681622921858]
  モデル中毒は、フェデレートラーニング(FL)の適用を著しく阻害する 本研究では,モデル中毒に対するRECESSという新しいプロアクティブ・ディフェンスを提案する。 各イテレーションをスコアする従来の方法とは異なり、RECESSはクライアントのパフォーマンス相関を複数のイテレーションで考慮し、信頼スコアを見積もる。
  論文  参考訳（メタデータ） (2023-10-09T06:09:01Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)
• Fact-Saboteurs: A Taxonomy of Evidence Manipulation Attacks against Fact-Verification Systems [80.3811072650087]
  証拠のクレームサレントスニペットを微調整し,多様かつクレームアラインな証拠を生成することが可能であることを示す。 この攻撃は、主張のポストホックな修正に対しても堅牢である。 これらの攻撃は、インスペクタブルとヒューマン・イン・ザ・ループの使用シナリオに有害な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-09-07T13:39:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。