論文の概要: Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions

• arxiv url: http://arxiv.org/abs/2501.01872v2
• Date: Thu, 09 Jan 2025 10:11:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 13:59:36.494187
• Title: Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions
• Title（参考訳）: 自己に対する論理の転換 : 対照的な質問を通してモデルディフェンスを提案する
• Authors: Rachneet Sachdeva, Rima Hazra, Iryna Gurevych,
• Abstract要約: 非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
• 参考スコア（独自算出の注目度）: 51.51850981481236
• License:
• Abstract: Large language models, despite extensive alignment with human values and ethical principles, remain vulnerable to sophisticated jailbreak attacks that exploit their reasoning abilities. Existing safety measures often detect overt malicious intent but fail to address subtle, reasoning-driven vulnerabilities. In this work, we introduce POATE (Polar Opposite query generation, Adversarial Template construction, and Elaboration), a novel jailbreak technique that harnesses contrastive reasoning to provoke unethical responses. POATE crafts semantically opposing intents and integrates them with adversarial templates, steering models toward harmful outputs with remarkable subtlety. We conduct extensive evaluation across six diverse language model families of varying parameter sizes to demonstrate the robustness of the attack, achieving significantly higher attack success rates (~44%) compared to existing methods. To counter this, we propose Intent-Aware CoT and Reverse Thinking CoT, which decompose queries to detect malicious intent and reason in reverse to evaluate and reject harmful responses. These methods enhance reasoning robustness and strengthen the model's defense against adversarial exploits.
• Abstract（参考訳）: 大規模な言語モデルは、人間の価値観や倫理的原則と広範囲に一致しているにもかかわらず、彼らの推論能力を利用する高度なジェイルブレイク攻撃に弱いままである。 既存の安全対策は、しばしば過度に悪意のある意図を検知するが、微妙で推論駆動の脆弱性に対処することができない。 本稿では,非倫理的応答を誘発する対照的な推論手法であるPOATE(Polar Opposite query generation, Adversarial Template construction, and Elaboration)を紹介する。 POATEは意味論的に反対の意図を作り、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 パラメータサイズの異なる6種類の言語モデル群に対して、攻撃の堅牢性を示すために広範囲な評価を行い、既存の手法に比べて攻撃成功率(約44%)が著しく高いことを示す。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。 これらの手法はロバスト性を高め、敵の攻撃に対するモデルの防御を強化する。

関連論文リスト

• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)
• Reformulation is All You Need: Addressing Malicious Text Features in DNNs [43.978490178352935]
  本稿では,敵攻撃とバックドア攻撃の両方に対して有効な,統一的かつ適応的な防御フレームワークを提案する。 我々のフレームワークは、様々な悪意あるテキスト機能において、既存のサンプル指向の防御基準よりも優れています。
  論文  参考訳（メタデータ） (2025-02-02T03:39:43Z)
• A Realistic Threat Model for Large Language Model Jailbreaks [87.64278063236847]
  本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。 私たちの脅威モデルは、パープレキシティの制約を組み合わせることで、ジェイルブレイクが自然のテキストからどれだけ逸脱するかを測定します。 我々は、この新しい現実的な脅威モデルに人気のある攻撃を適用する。
  論文  参考訳（メタデータ） (2024-10-21T17:27:01Z)
• You Know What I'm Saying: Jailbreak Attack via Implicit Reference [22.520950422702757]
  本研究は、以前見過ごされた脆弱性を特定し、Implicit Reference (AIR) による攻撃(Attack)と呼ぶ。 AIRは悪意のある目的を許容可能な目的に分解し、コンテキスト内の暗黙の参照を通してそれらをリンクする。 我々の実験は、AIRが最先端のLLMに対して有効であることを示し、ほとんどのモデルで90%を超える攻撃成功率(ASR)を達成した。
  論文  参考訳（メタデータ） (2024-10-04T18:42:57Z)
• Imposter.AI: Adversarial Attacks with Hidden Intentions towards Aligned Large Language Models [13.225041704917905]
  本研究では,大規模言語モデルから有害情報を抽出するために,人間の会話戦略を活かした攻撃機構を明らかにする。 明示的な悪意のある応答をターゲットとする従来の手法とは異なり、我々のアプローチは応答で提供される情報の性質を深く掘り下げている。
  論文  参考訳（メタデータ） (2024-07-22T06:04:29Z)
• Defending Large Language Models against Jailbreak Attacks via Semantic Smoothing [107.97160023681184]
  適応型大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 提案するSEMANTICSMOOTHは,与えられた入力プロンプトのセマンティック変換されたコピーの予測を集約するスムージングベースのディフェンスである。
  論文  参考訳（メタデータ） (2024-02-25T20:36:03Z)
• RECESS Vaccine for Federated Learning: Proactive Defense Against Model Poisoning Attacks [20.55681622921858]
  モデル中毒は、フェデレートラーニング(FL)の適用を著しく阻害する 本研究では,モデル中毒に対するRECESSという新しいプロアクティブ・ディフェンスを提案する。 各イテレーションをスコアする従来の方法とは異なり、RECESSはクライアントのパフォーマンス相関を複数のイテレーションで考慮し、信頼スコアを見積もる。
  論文  参考訳（メタデータ） (2023-10-09T06:09:01Z)
• Fact-Saboteurs: A Taxonomy of Evidence Manipulation Attacks against Fact-Verification Systems [80.3811072650087]
  証拠のクレームサレントスニペットを微調整し,多様かつクレームアラインな証拠を生成することが可能であることを示す。 この攻撃は、主張のポストホックな修正に対しても堅牢である。 これらの攻撃は、インスペクタブルとヒューマン・イン・ザ・ループの使用シナリオに有害な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-09-07T13:39:24Z)
• Rethinking Textual Adversarial Defense for Pre-trained Language Models [79.18455635071817]
  文献レビューでは、事前訓練された言語モデル(PrLM)が敵の攻撃に弱いことが示されている。 本稿では、現在の敵攻撃アプローチにより、より自然で知覚不能な敵の例を生成するための新しい指標(異常の度合い)を提案する。 我々は,我々のユニバーサル・ディフェンス・フレームワークが,他の特定のディフェンスと同等あるいはそれ以上のアフターアタック・ディフェンスの精度を達成することを示す。
  論文  参考訳（メタデータ） (2022-07-21T07:51:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。