論文の概要: LLMs are Vulnerable to Malicious Requests with Indistinguishable Intent
- arxiv url: http://arxiv.org/abs/2611.17818v1
- Date: Fri, 13 Nov 2026 06:56:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.320458
- Title: LLMs are Vulnerable to Malicious Requests with Indistinguishable Intent
- Title(参考訳): LLMは識別不能なインテントによる悪意のある要求に対して無効である
- Abstract要約: 本稿では,bftextDetail Guidance Attack (DGA)を紹介した。これは,LLM(Large Language Models)を用いて詳細な要求を構築するフレームワークである。
11の犠牲者モデルと3つのデータセットのうち、完全なDGAパイプラインは、我々の自動判定基準の下で高い攻撃成功率を達成する。
また, DGA 対応フィルタの評価を行い, 日常的な要求に対して, あいまいな意図や二重用途の意図でユーザ調査を行う。
- 参考スコア(独自算出の注目度): 3.6568012417526785
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Jailbreak attacks can circumvent the safety mechanisms of Large Language Models (LLMs) and lead to the generation of harmful or policy-violating content. We first examine eight jailbreak methods against an LLM-based filter and observe that requests resembling normal user queries tend to have higher filter pass rates than those containing obvious anomalous patterns. This observation motivates the hypothesis that resemblance to normal requests may contribute to jailbreak success. We introduce \textbf{Detail Guidance Attack (DGA)}, a framework that uses an auxiliary LLM to construct detailed requests and interacts with the victim model in a single turn. Across 11 victim models and three datasets, the complete DGA pipeline achieves high attack success rates under our automated judging criterion, including rates above 95\% in several evaluated settings. We also evaluate a DGA-aware filter and conduct a user study on everyday requests with ambiguous or dual-use intent. The survey documents differing expectations about whether models should respond; the usability costs of the filter remain to be measured.
- Abstract(参考訳): 脱獄攻撃は、Large Language Models(LLM)の安全性メカニズムを回避し、有害またはポリシー違反のコンテンツの生成につながる可能性がある。
まず LLM ベースのフィルタに対して 8 つのjailbreak 手法を検証し,通常のユーザクエリに類似した要求が,明らかな異常パターンを含むものよりもフィルタ通過率が高いことを示した。
この観察は、通常の要求に類似したことがジェイルブレイクの成功に寄与する可能性があるという仮説を動機付けている。
我々は、補助的なLCMを使用して詳細な要求を構築し、単一ターンで被害者モデルと対話するフレームワークである、textbf{Detail Guidance Attack (DGA)を紹介した。
11の犠牲者モデルと3つのデータセットにまたがって、完全なDGAパイプラインは、自動判定基準の下で高い攻撃成功率を達成する。
また, DGA 対応フィルタの評価を行い, 日常的な要求に対して, あいまいな意図や二重用途の意図でユーザ調査を行う。
調査資料は、モデルが応答すべきかどうかの予測が異なるが、フィルタのユーザビリティコストは依然として測定されていない。
関連論文リスト
- OverAct: Measuring and Mitigating Proactive Over-Authorization in LLM Tool-Calling Agents [9.37262464887881]
ツールコール機能を持つLLMエージェントは、外部サービスやプライベートユーザデータにアクセスすることができるが、ユーザの要求よりも多くの情報を取得することができる。
構造化ツールコールエージェントにおけるこの挙動について検討し、これを積極的に過剰な認可(over-authorization)と呼ぶ。
プライバシに敏感な8つのドメインにまたがるベンチマークであるOverActを紹介します。
論文 参考訳(メタデータ) (2026-10-01T11:44:45Z) - Mind the Gap: Zero-Query Jailbreaks via Filter-Generator Discrepancy in Text-to-Image Systems [10.071877020102557]
テキスト・トゥ・イメージ(T2I)システムは通常、安全でない要求をブロックするためにジェネレータの前にプロンプトレベルの安全フィルタを持つ。
観測可能な不一致規則を用いて、摂動を高能率候補集合にスクリーニングするゼロクエリ・ジェイルブレイク・フレームワークを提案する。
平均攻撃成功率は29.2% (MHSC) と33.3% (Q16) に上昇する。
論文 参考訳(メタデータ) (2026-08-02T03:53:30Z) - Verifying LLM Inference to Prevent Model Weight Exfiltration [1.4698862238090828]
推論サーバを制御するアタッカーは、通常のモデル出力内に隠してモデルの重みを除去することができる。
本研究では,このような攻撃に対してモデル応答を正当に検証し,推論中に異常やバギーな動作を検出する方法について検討する。
我々は,セキュリティゲームとしてモデル抽出を形式化し,ステガノグラフ抽出を確実に軽減できる検証フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-04T14:51:44Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳(メタデータ) (2025-05-23T08:13:59Z) - Multi-round jailbreak attack on large language models [2.540971544359496]
私たちは"ジェイルブレイク"攻撃をよりよく理解するために、マルチラウンドのジェイルブレイクアプローチを導入します。
この方法は危険なプロンプトを書き換え、有害でない一連のサブクエストに分解する。
実験の結果,ラマ2-7Bは94%の成功率を示した。
論文 参考訳(メタデータ) (2024-10-15T12:08:14Z) - OR-Bench: An Over-Refusal Benchmark for Large Language Models [65.34666117785179]
大きな言語モデル(LLM)は、悪意のある出力を防ぐために慎重に安全アライメントを必要とする。
本研究では,大規模なオーバーリファレンスデータセットの自動生成手法を提案する。
OR-Benchは,最初の大規模オーバーリファレンスベンチマークである。
論文 参考訳(メタデータ) (2024-05-31T15:44:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。