論文の概要: Attention-Aware GNN-based Input Defense against Multi-Turn LLM Jailbreak

• arxiv url: http://arxiv.org/abs/2507.07146v2
• Date: Tue, 14 Oct 2025 04:28:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 14:23:56.787344
• Title: Attention-Aware GNN-based Input Defense against Multi-Turn LLM Jailbreak
• Title（参考訳）: マルチTurn LLM ジェイルブレイクに対する注意型GNNによる入力防御
• Authors: Zixuan Huang, Kecheng Huang, Lihao Yin, Bowei He, Huiling Zhen, Mingxuan Yuan, Zili Shao,
• Abstract要約: 大規模言語モデル(LLM)は様々なアプリケーションで大きな注目を集めているが、その能力は建設的かつ悪意のあるエクスプロイトのリスクをもたらす。 近年、マルチターン攻撃の出現により、この脆弱性が強化されている。 本稿では,G-Guardを紹介した。G-Guardは,マルチターン・ジェイルブレイク攻撃に対する防御に特化して設計された,GNNベースの入力分類器である。
• 参考スコア（独自算出の注目度）: 26.722533991614792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have gained significant traction in various applications, yet their capabilities present risks for both constructive and malicious exploitation. Despite extensive training and fine-tuning efforts aimed at enhancing safety, LLMs remain susceptible to jailbreak attacks. Recently, the emergence of multi-turn attacks has intensified this vulnerability. Unlike single-turn attacks, multi-turn attacks incrementally escalate dialogue complexity, rendering them more challenging to detect and mitigate. In this study, we introduce G-Guard, an innovative attention-aware Graph Neural Network (GNN)-based input classifier specifically designed to defend against multi-turn jailbreak attacks targeting LLMs. G-Guard constructs an entity graph for multi-turn queries, which captures the interrelationships between queries and harmful keywords that present in multi-turn queries. Furthermore, we propose an attention-aware augmentation mechanism that retrieves the most relevant single-turn query based on the ongoing multi-turn conversation. The retrieved query is incorporated as a labeled node within the graph, thereby enhancing the GNN's capacity to classify the current query as harmful or benign. Evaluation results show that G-Guard consistently outperforms all baselines across diverse datasets and evaluation metrics, demonstrating its efficacy as a robust defense mechanism against multi-turn jailbreak attacks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々なアプリケーションで大きな注目を集めているが、その能力は建設的かつ悪意のあるエクスプロイトのリスクをもたらす。 安全性を高めるための広範囲な訓練と微調整の努力にもかかわらず、LLMは依然としてジェイルブレイク攻撃の影響を受けやすいままである。 近年、マルチターン攻撃の出現により、この脆弱性が強化されている。 シングルターン攻撃とは異なり、マルチターン攻撃は対話の複雑さを徐々にエスカレートし、検出と緩和がより困難になる。 本研究では,LLMを標的としたマルチターンジェイルブレイク攻撃に対する防御を目的とした,GNNベースの入力分類器であるG-Guardを紹介する。 G-Guardはマルチターンクエリのためのエンティティグラフを構築し、マルチターンクエリに存在するクエリと有害キーワードの間の相互関係をキャプチャする。 さらに,現在進行中のマルチターン会話に基づいて,最も関連性の高いシングルターンクエリを検索するアテンション対応拡張機構を提案する。 検索されたクエリはグラフ内のラベル付きノードとして組み込まれ、現在のクエリを有害または良性として分類するGNNの能力を高める。 評価結果から,G-Guardは多様なデータセットや評価指標のベースラインを一貫して上回り,マルチターンジェイルブレイク攻撃に対する堅牢な防御機構としての有効性を示した。

関連論文リスト

• Explainable and Fine-Grained Safeguarding of LLM Multi-Agent Systems via Bi-Level Graph Anomaly Detection [76.91230292971115]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は複雑なタスクを解く上で強力な能力を示している。 XG-Guardは、MAS内の悪意のあるエージェントを検出するための、説明可能な、きめ細かい保護フレームワークである。
  論文  参考訳（メタデータ） (2025-12-21T13:46:36Z)
• KG-DF: A Black-box Defense Framework against Jailbreak Attacks Based on Knowledge Graphs [22.335638814557004]
  大規模言語モデル(LLM)のための知識グラフ防衛フレームワーク(KG-DF)を提案する。 構造化された知識表現とセマンティックアソシエーション機能により、知識ベースで安全な知識と入力コンテンツを関連付けることで、知識グラフ(KG)を検索することができる。 セマンティック解析モジュールを導入し、その中核となるタスクは、入力クエリを構造化された安全な概念表現の集合に変換することである。
  論文  参考訳（メタデータ） (2025-11-09T14:39:40Z)
• JPS: Jailbreak Multimodal Large Language Models with Collaborative Visual Perturbation and Textual Steering [73.962469626788]
  マルチモーダルな大規模言語モデル(MLLM)に対するジェイルブレイク攻撃は重要な研究課題である。 JPS, UnderlineJailbreak MLLMs with collaborative visual underlinePerturbation and textual underlineSteering。
  論文  参考訳（メタデータ） (2025-08-07T07:14:01Z)
• Secure Tug-of-War (SecTOW): Iterative Defense-Attack Training with Reinforcement Learning for Multimodal Model Security [63.41350337821108]
  マルチモーダル大規模言語モデル(MLLM)のセキュリティを高めるために,Secure Tug-of-War(SecTOW)を提案する。 SecTOWは2つのモジュールで構成される:ディフェンダーと補助攻撃者。どちらも強化学習(GRPO)を使用して反復的に訓練される。 SecTOWは、一般的な性能を維持しながら、セキュリティを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2025-07-29T17:39:48Z)
• A Representation Engineering Perspective on the Effectiveness of Multi-Turn Jailbreaks [3.8246557700763715]
  中間モデル表現のレベルにおけるCrescendoマルチターンジェイルブレイクの有効性について検討する。 本研究は, シングルターンジェイルブレイク防御が多ターン攻撃に対して一般的に効果がない理由を説明するのに有効である。
  論文  参考訳（メタデータ） (2025-06-29T23:28:55Z)
• GRAF: Multi-turn Jailbreaking via Global Refinement and Active Fabrication [55.63412213263305]
  大規模言語モデルは、悪意のある目的のために誤用される可能性があるため、顕著な安全性のリスクを生じさせる。 そこで本研究では,各インタラクションにおける攻撃経路をグローバルに洗練する,新しいマルチターンジェイルブレーキング手法を提案する。 さらに、モデル応答を積極的に作成し、安全性に関する警告を抑えることにより、有害な出力を誘発する可能性を高める。
  論文  参考訳（メタデータ） (2025-06-22T03:15:05Z)
• Wolf Hidden in Sheep's Conversations: Toward Harmless Data-Based Backdoor Attacks for Jailbreaking Large Language Models [69.11679786018206]
  Supervised Fine-tuning (SFT) は、大きな言語モデルと人間の意図を協調させ、ラベル付きタスク固有データでトレーニングする。 近年の研究では、悪意のある攻撃者が、有害な質問応答ペアにトリガーを埋め込むことで、これらのモデルにバックドアを注入できることが示されている。 脱獄性LLMに対する新しいクリーンデータバックドアアタックを提案する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Alignment Under Pressure: The Case for Informed Adversaries When Evaluating LLM Defenses [6.736255552371404]
  アライメント(Alignment)は、迅速な注射や脱獄といった攻撃を防御するために使われる主要なアプローチの1つである。 グレディ・コーディネート・グラディエント(GCG)に対する攻撃成功率(ASR)の報告
  論文  参考訳（メタデータ） (2025-05-21T16:43:17Z)
• AutoAdv: Automated Adversarial Prompting for Multi-Turn Jailbreaking of Large Language Models [0.0]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃の脆弱性を示し続けている。 本稿では,敵対的即時生成を自動化する新しいフレームワークであるAutoAdvを紹介する。 我々の攻撃は、有害なコンテンツ生成に対して最大86%のジェイルブレイク成功率を達成したことを示す。
  論文  参考訳（メタデータ） (2025-04-18T08:38:56Z)
• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)
• Reformulation is All You Need: Addressing Malicious Text Features in DNNs [53.45564571192014]
  本稿では,敵攻撃とバックドア攻撃の両方に対して有効な,統一的かつ適応的な防御フレームワークを提案する。 我々のフレームワークは、様々な悪意あるテキスト機能において、既存のサンプル指向の防御基準よりも優れています。
  論文  参考訳（メタデータ） (2025-02-02T03:39:43Z)
• SequentialBreak: Large Language Models Can be Fooled by Embedding Jailbreak Prompts into Sequential Prompt Chains [0.0]
  本稿では,大規模言語モデル(LLM)の脆弱性を利用した新しいジェイルブレイク攻撃であるSequentialBreakを紹介する。 問題バンク,ダイアログ補完,ゲーム環境などの事例に限らず,有害なプロンプトをLCMを騙して有害な応答を発生させる良質なプロンプトに埋め込む,いくつかのシナリオについて論じる。 大規模な実験では、SequentialBreakは単一のクエリしか使用せず、攻撃成功率を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-11-10T11:08:28Z)
• Enhancing Adversarial Attacks through Chain of Thought [0.0]
  勾配に基づく敵対的攻撃は、特に整列した大言語モデル(LLM)に対して有効である 本稿では,CoTプロンプトとgreedy coordinate gradient (GCG)技術を統合することで,敵攻撃の普遍性を高めることを提案する。
  論文  参考訳（メタデータ） (2024-10-29T06:54:00Z)
• Jailbreaking and Mitigation of Vulnerabilities in Large Language Models [8.345554966569479]
  大規模言語モデル(LLM)は、自然言語の理解と生成を前進させることで、人工知能を変革した。 これらの進歩にもかかわらず、LSMは、特に注射と脱獄攻撃を急ぐために、かなりの脆弱性を示してきた。 このレビューでは、これらの脆弱性についての研究状況を分析し、利用可能な防衛戦略を提示する。
  論文  参考訳（メタデータ） (2024-10-20T00:00:56Z)
• Multi-Turn Context Jailbreak Attack on Large Language Models From First Principles [2.5167155755957316]
  コンテキスト・フュージョン・アタック (Context Fusion Attack, CFA) は、コンテキスト・フュージョン・ブラックボックス・ジェイルブレイク・アタックの手法である。 また,他の多ターン攻撃戦略と比較して,CFAの成功率,ばらつき,有害性を示す。
  論文  参考訳（メタデータ） (2024-08-08T09:18:47Z)
• Securing Multi-turn Conversational Language Models From Distributed Backdoor Triggers [29.554818890832887]
  大規模言語モデル(LLM)は、長いコンテキスト長を処理し、テキストでニュアンスを理解する能力を獲得した。 本稿では,LDMのマルチターン機能と強力な学習能力を利用してエンドユーザを害する脆弱性を明らかにする。 本稿では, 応答列長を線形に拡張し, バックドアを0.35%まで小さくする復号時間ディフェンスを提案する。
  論文  参考訳（メタデータ） (2024-07-04T20:57:06Z)
• TrojanRAG: Retrieval-Augmented Generation Can Be Backdoor Driver in Large Language Models [16.71019302192829]
  大規模言語モデル(LLM)は、自然言語処理(NLP)において顕著なパフォーマンスにもかかわらず、潜在的なセキュリティ脅威に対する懸念を提起している。 バックドア攻撃は当初、LLMがあらゆる段階で重大な損害を受けていることを証明したが、コストとロバスト性は批判されている。 本稿では,Retrieval-Augmented Generationにおいて,共同でバックドア攻撃を行うTrojanRAGを提案する。
  論文  参考訳（メタデータ） (2024-05-22T07:21:32Z)
• Defending Large Language Models against Jailbreak Attacks via Semantic Smoothing [107.97160023681184]
  適応型大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 提案するSEMANTICSMOOTHは,与えられた入力プロンプトのセマンティック変換されたコピーの予測を集約するスムージングベースのディフェンスである。
  論文  参考訳（メタデータ） (2024-02-25T20:36:03Z)
• Coercing LLMs to do and reveal (almost) anything [80.8601180293558]
  大規模言語モデル(LLM)に対する敵対的攻撃は、有害なステートメントを作るためにモデルを「ジェイルブレイク」することができることが示されている。 LLMに対する敵対的攻撃のスペクトルは単なるジェイルブレイクよりもはるかに大きいと我々は主張する。
  論文  参考訳（メタデータ） (2024-02-21T18:59:13Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)
• Universal and Transferable Adversarial Attacks on Aligned Language Models [118.41733208825278]
  本稿では,アライメント言語モデルに反抗的な振る舞いを生じさせる,シンプルで効果的な攻撃手法を提案する。 驚いたことに、我々のアプローチによって生じる敵のプロンプトは、かなり伝達可能である。
  論文  参考訳（メタデータ） (2023-07-27T17:49:12Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。