論文の概要: An attention-aware GNN-based input defender against multi-turn jailbreak on LLMs

• arxiv url: http://arxiv.org/abs/2507.07146v1
• Date: Wed, 09 Jul 2025 07:55:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.144965
• Title: An attention-aware GNN-based input defender against multi-turn jailbreak on LLMs
• Title（参考訳）: LLMのマルチターンジェイルブレイクに対する注意深いGNNベースの入力ディフェンサ
• Authors: Zixuan Huang, Kecheng Huang, Lihao Yin, Bowei He, Huiling Zhen, Mingxuan Yuan, Zili Shao,
• Abstract要約: 大規模言語モデル(LLM)は広く普及し、様々なアプリケーションに統合されつつある。 厳格な訓練と安全のための微調整にもかかわらず、LLMは脱獄攻撃に弱いままである。 G-Guardは、マルチターンジェイルブレイク攻撃を防御するための革新的な注意を意識したGNNベースの入力である。
• 参考スコア（独自算出の注目度）: 14.993549853203591
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have gained widespread popularity and are increasingly integrated into various applications. However, their capabilities can be exploited for both benign and harmful purposes. Despite rigorous training and fine-tuning for safety, LLMs remain vulnerable to jailbreak attacks. Recently, multi-turn attacks have emerged, exacerbating the issue. Unlike single-turn attacks, multi-turn attacks gradually escalate the dialogue, making them more difficult to detect and mitigate, even after they are identified. In this study, we propose G-Guard, an innovative attention-aware GNN-based input classifier designed to defend against multi-turn jailbreak attacks on LLMs. G-Guard constructs an entity graph for multi-turn queries, explicitly capturing relationships between harmful keywords and queries even when those keywords appear only in previous queries. Additionally, we introduce an attention-aware augmentation mechanism that retrieves the most similar single-turn query based on the multi-turn conversation. This retrieved query is treated as a labeled node in the graph, enhancing the ability of GNN to classify whether the current query is harmful. Evaluation results demonstrate that G-Guard outperforms all baselines across all datasets and evaluation metrics.
• Abstract（参考訳）: 大規模言語モデル(LLM)は広く普及し、様々なアプリケーションに統合されつつある。 しかし、その能力は良心と有害な目的の両方に利用することができる。 厳格な訓練と安全のための微調整にもかかわらず、LLMは脱獄攻撃に弱いままである。 近年、マルチターン攻撃が発生し、この問題が悪化している。 シングルターン攻撃とは異なり、マルチターン攻撃は徐々に対話をエスカレートし、特定後も検出と緩和がより困難になる。 本研究では,G-Guardを提案する。G-Guardは,LLMに対するマルチターンジェイルブレイク攻撃に対する防御を目的とした,革新的な注意喚起型入力分類器である。 G-Guardは、マルチターンクエリのためのエンティティグラフを構築し、これらのキーワードが以前のクエリにのみ現れる場合でも、有害なキーワードとクエリの関係を明示的にキャプチャする。 さらに、マルチターン会話に基づいて、最もよく似たシングルターンクエリを検索するアテンション対応拡張機構を導入する。 この検索されたクエリはグラフ内のラベル付きノードとして扱われ、GNNが現在のクエリが有害かどうかを分類する能力を高める。 評価結果は、G-Guardがすべてのデータセットと評価指標ですべてのベースラインを上回っていることを示している。

関連論文リスト

• Explainable and Fine-Grained Safeguarding of LLM Multi-Agent Systems via Bi-Level Graph Anomaly Detection [76.91230292971115]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は複雑なタスクを解く上で強力な能力を示している。 XG-Guardは、MAS内の悪意のあるエージェントを検出するための、説明可能な、きめ細かい保護フレームワークである。
  論文  参考訳（メタデータ） (2025-12-21T13:46:36Z)
• KG-DF: A Black-box Defense Framework against Jailbreak Attacks Based on Knowledge Graphs [22.335638814557004]
  大規模言語モデル(LLM)のための知識グラフ防衛フレームワーク(KG-DF)を提案する。 構造化された知識表現とセマンティックアソシエーション機能により、知識ベースで安全な知識と入力コンテンツを関連付けることで、知識グラフ(KG)を検索することができる。 セマンティック解析モジュールを導入し、その中核となるタスクは、入力クエリを構造化された安全な概念表現の集合に変換することである。
  論文  参考訳（メタデータ） (2025-11-09T14:39:40Z)
• JPS: Jailbreak Multimodal Large Language Models with Collaborative Visual Perturbation and Textual Steering [73.962469626788]
  マルチモーダルな大規模言語モデル(MLLM)に対するジェイルブレイク攻撃は重要な研究課題である。 JPS, UnderlineJailbreak MLLMs with collaborative visual underlinePerturbation and textual underlineSteering。
  論文  参考訳（メタデータ） (2025-08-07T07:14:01Z)
• Secure Tug-of-War (SecTOW): Iterative Defense-Attack Training with Reinforcement Learning for Multimodal Model Security [63.41350337821108]
  マルチモーダル大規模言語モデル(MLLM)のセキュリティを高めるために,Secure Tug-of-War(SecTOW)を提案する。 SecTOWは2つのモジュールで構成される:ディフェンダーと補助攻撃者。どちらも強化学習(GRPO)を使用して反復的に訓練される。 SecTOWは、一般的な性能を維持しながら、セキュリティを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2025-07-29T17:39:48Z)
• A Representation Engineering Perspective on the Effectiveness of Multi-Turn Jailbreaks [3.8246557700763715]
  中間モデル表現のレベルにおけるCrescendoマルチターンジェイルブレイクの有効性について検討する。 本研究は, シングルターンジェイルブレイク防御が多ターン攻撃に対して一般的に効果がない理由を説明するのに有効である。
  論文  参考訳（メタデータ） (2025-06-29T23:28:55Z)
• GRAF: Multi-turn Jailbreaking via Global Refinement and Active Fabrication [55.63412213263305]
  大規模言語モデルは、悪意のある目的のために誤用される可能性があるため、顕著な安全性のリスクを生じさせる。 そこで本研究では,各インタラクションにおける攻撃経路をグローバルに洗練する,新しいマルチターンジェイルブレーキング手法を提案する。 さらに、モデル応答を積極的に作成し、安全性に関する警告を抑えることにより、有害な出力を誘発する可能性を高める。
  論文  参考訳（メタデータ） (2025-06-22T03:15:05Z)
• Wolf Hidden in Sheep's Conversations: Toward Harmless Data-Based Backdoor Attacks for Jailbreaking Large Language Models [69.11679786018206]
  Supervised Fine-tuning (SFT) は、大きな言語モデルと人間の意図を協調させ、ラベル付きタスク固有データでトレーニングする。 近年の研究では、悪意のある攻撃者が、有害な質問応答ペアにトリガーを埋め込むことで、これらのモデルにバックドアを注入できることが示されている。 脱獄性LLMに対する新しいクリーンデータバックドアアタックを提案する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Alignment Under Pressure: The Case for Informed Adversaries When Evaluating LLM Defenses [6.736255552371404]
  アライメント(Alignment)は、迅速な注射や脱獄といった攻撃を防御するために使われる主要なアプローチの1つである。 グレディ・コーディネート・グラディエント(GCG)に対する攻撃成功率(ASR)の報告
  論文  参考訳（メタデータ） (2025-05-21T16:43:17Z)
• AutoAdv: Automated Adversarial Prompting for Multi-Turn Jailbreaking of Large Language Models [0.0]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃の脆弱性を示し続けている。 本稿では,敵対的即時生成を自動化する新しいフレームワークであるAutoAdvを紹介する。 我々の攻撃は、有害なコンテンツ生成に対して最大86%のジェイルブレイク成功率を達成したことを示す。
  論文  参考訳（メタデータ） (2025-04-18T08:38:56Z)
• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)
• Reformulation is All You Need: Addressing Malicious Text Features in DNNs [53.45564571192014]
  本稿では,敵攻撃とバックドア攻撃の両方に対して有効な,統一的かつ適応的な防御フレームワークを提案する。 我々のフレームワークは、様々な悪意あるテキスト機能において、既存のサンプル指向の防御基準よりも優れています。
  論文  参考訳（メタデータ） (2025-02-02T03:39:43Z)
• SequentialBreak: Large Language Models Can be Fooled by Embedding Jailbreak Prompts into Sequential Prompt Chains [0.0]
  本稿では,大規模言語モデル(LLM)の脆弱性を利用した新しいジェイルブレイク攻撃であるSequentialBreakを紹介する。 問題バンク,ダイアログ補完,ゲーム環境などの事例に限らず,有害なプロンプトをLCMを騙して有害な応答を発生させる良質なプロンプトに埋め込む,いくつかのシナリオについて論じる。 大規模な実験では、SequentialBreakは単一のクエリしか使用せず、攻撃成功率を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-11-10T11:08:28Z)
• Enhancing Adversarial Attacks through Chain of Thought [0.0]
  勾配に基づく敵対的攻撃は、特に整列した大言語モデル(LLM)に対して有効である 本稿では,CoTプロンプトとgreedy coordinate gradient (GCG)技術を統合することで,敵攻撃の普遍性を高めることを提案する。
  論文  参考訳（メタデータ） (2024-10-29T06:54:00Z)
• Jailbreaking and Mitigation of Vulnerabilities in Large Language Models [8.345554966569479]
  大規模言語モデル(LLM)は、自然言語の理解と生成を前進させることで、人工知能を変革した。 これらの進歩にもかかわらず、LSMは、特に注射と脱獄攻撃を急ぐために、かなりの脆弱性を示してきた。 このレビューでは、これらの脆弱性についての研究状況を分析し、利用可能な防衛戦略を提示する。
  論文  参考訳（メタデータ） (2024-10-20T00:00:56Z)
• Multi-Turn Context Jailbreak Attack on Large Language Models From First Principles [2.5167155755957316]
  コンテキスト・フュージョン・アタック (Context Fusion Attack, CFA) は、コンテキスト・フュージョン・ブラックボックス・ジェイルブレイク・アタックの手法である。 また,他の多ターン攻撃戦略と比較して,CFAの成功率,ばらつき,有害性を示す。
  論文  参考訳（メタデータ） (2024-08-08T09:18:47Z)
• Securing Multi-turn Conversational Language Models From Distributed Backdoor Triggers [29.554818890832887]
  大規模言語モデル(LLM)は、長いコンテキスト長を処理し、テキストでニュアンスを理解する能力を獲得した。 本稿では,LDMのマルチターン機能と強力な学習能力を利用してエンドユーザを害する脆弱性を明らかにする。 本稿では, 応答列長を線形に拡張し, バックドアを0.35%まで小さくする復号時間ディフェンスを提案する。
  論文  参考訳（メタデータ） (2024-07-04T20:57:06Z)
• TrojanRAG: Retrieval-Augmented Generation Can Be Backdoor Driver in Large Language Models [16.71019302192829]
  大規模言語モデル(LLM)は、自然言語処理(NLP)において顕著なパフォーマンスにもかかわらず、潜在的なセキュリティ脅威に対する懸念を提起している。 バックドア攻撃は当初、LLMがあらゆる段階で重大な損害を受けていることを証明したが、コストとロバスト性は批判されている。 本稿では,Retrieval-Augmented Generationにおいて,共同でバックドア攻撃を行うTrojanRAGを提案する。
  論文  参考訳（メタデータ） (2024-05-22T07:21:32Z)
• Defending Large Language Models against Jailbreak Attacks via Semantic Smoothing [107.97160023681184]
  適応型大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 提案するSEMANTICSMOOTHは,与えられた入力プロンプトのセマンティック変換されたコピーの予測を集約するスムージングベースのディフェンスである。
  論文  参考訳（メタデータ） (2024-02-25T20:36:03Z)
• Coercing LLMs to do and reveal (almost) anything [80.8601180293558]
  大規模言語モデル(LLM)に対する敵対的攻撃は、有害なステートメントを作るためにモデルを「ジェイルブレイク」することができることが示されている。 LLMに対する敵対的攻撃のスペクトルは単なるジェイルブレイクよりもはるかに大きいと我々は主張する。
  論文  参考訳（メタデータ） (2024-02-21T18:59:13Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)
• Universal and Transferable Adversarial Attacks on Aligned Language Models [118.41733208825278]
  本稿では,アライメント言語モデルに反抗的な振る舞いを生じさせる,シンプルで効果的な攻撃手法を提案する。 驚いたことに、我々のアプローチによって生じる敵のプロンプトは、かなり伝達可能である。
  論文  参考訳（メタデータ） (2023-07-27T17:49:12Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。