論文の概要: Talk is (Not) Cheap: A Taxonomy and Benchmark Coverage Audit for LLM Attacks

• arxiv url: http://arxiv.org/abs/2605.15118v1
• Date: Thu, 14 May 2026 17:30:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.984678
• Title: Talk is (Not) Cheap: A Taxonomy and Benchmark Coverage Audit for LLM Attacks
• Title（参考訳）: 講演(Not) - LLM攻撃に対する分類とベンチマーク調査
• Authors: Karthik Raghu Iyer, Yazdan Jamshidi, Nicholas Bray, Alexey A. Shvets,
• Abstract要約: 攻撃ベンチマークが脅威面を網羅するかどうかを監査するための再利用可能なフレームワークを導入する。 これを6つの公開ベンチマークに適用すると、3つの主要なフレームワークが行列の25%をカバーしている非重複セルを占有していることが分かる。 2,521の独特な攻撃集団のコーパスは、広範囲にわたる命名の断片化と、セーフティ・アンド・アライメント・バイパスにおける集中度を明らかにしている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a reusable framework for auditing whether LLM attack benchmarks collectively cover the threat surface: a 4$\times$6 Target $\times$ Technique matrix grounded in STRIDE, constructed from a 507-leaf taxonomy -- 401 data-populated and 106 threat-model-derived leaves -- of inference-time attacks extracted from 932 arXiv security studies (2023--2026). The matrix enables benchmark-external validation -- auditing collective coverage rather than individual benchmark consistency. Applying it to six public benchmarks reveals that the three primary frameworks (HarmBench, InjecAgent, AgentDojo) occupy non-overlapping cells covering at most 25\% of the matrix, while entire STRIDE threat categories (Service Disruption, Model Internals) lack any standardized evaluation, despite published attacks in these categories achieving 46$\times$ token amplification and 96\% attack success rates through mechanisms which no benchmark tests. The corpus of 2,521 unique attack groups further reveals pervasive naming fragmentation (up to 29 surface forms for a single attack) and heavy concentration in Safety \& Alignment Bypass, structural properties invisible at smaller scale. The taxonomy, attack records, and coverage mappings are released as extensible artifacts; as new benchmarks emerge, they can be mapped onto the same matrix, enabling the community to track whether evaluation gaps are closing.
• Abstract（参考訳）: 4$\times$6 Target $\times$ Technique matrix based in STRIDE, constructed from a 507-leaf taxonomy -- 401 data-populated and 106 threat-model- derived leaves -- of inference-time attack from 932 arXiv security study (2023-2026)。 このマトリックスはベンチマーク外部の検証を可能にする -- 個々のベンチマークの一貫性ではなく、総合的なカバレッジを監査する。 6つの公開ベンチマークに適用すると、主要な3つのフレームワーク(HarmBench、InjecAgent、AgentDojo)が、マトリックスの少なくとも25%をカバーしている非重複セルを占有しているのに対し、STRIDE脅威カテゴリ全体(Service Disruption、Model Internals)は、これらのカテゴリにおける攻撃が46$\times$トークン増幅と96\%の攻撃成功率を達成したにもかかわらず、標準化された評価を欠いていることが分かる。 2,521の独特な攻撃群からなるコーパスは、より広範囲な命名の断片化(単一攻撃の29面まで)と、より小さなスケールで見えない構造的特性であるセーフティ・アンド・アライメント・バイパスの高濃度の存在を明らかにしている。 分類、アタックレコード、カバレッジマッピングは拡張可能なアーティファクトとしてリリースされ、新しいベンチマークが現れると、それらは同じマトリックスにマッピングされ、コミュニティが評価ギャップが閉じているかどうかを追跡できる。

関連論文リスト

• TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
  分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。 我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。 我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
  論文  参考訳（メタデータ） (2026-04-30T13:44:01Z)
• A Formal Security Framework for MCP-Based AI Agents: Threat Taxonomy, Verification Models, and Defense Mechanisms [0.0]
  Model Context Protocol (MCP) は、大規模言語モデル(LLM)ベースのエージェントを外部ツールやデータソースに接続するためのデファクトスタンダードとなっている。 本稿では,MPPベースのAIエージェントのための総合的なセキュリティフレームワークであるMPPSHIELDを提案する。
  論文  参考訳（メタデータ） (2026-04-07T15:02:47Z)
• CLASP: Defending Hybrid Large Language Models Against Hidden State Poisoning Attacks [48.54598003197356]
  Mambaのような状態空間モデル(SSM)はトランスフォーマーの効率的な代替品として大きな注目を集めている。 HiSPAsは、最近発見された脆弱性で、敵対する文字列を通じてSSMメモリを破損させる。 この脅威に対して防御するためのCLASPモデルを紹介します。
  論文  参考訳（メタデータ） (2026-03-12T17:29:55Z)
• Are Aligned Large Language Models Still Misaligned? [13.062124372682106]
  Mis-Align Bench は、安全性、価値、文化的側面の相違を分析するための統一されたベンチマークである。 SAVACUは、112のドメイン(またはラベル)にまたがる382,424のミスアライメントデータセットである。
  論文  参考訳（メタデータ） (2026-02-11T19:30:43Z)
• AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
  大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。 LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。 本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-12-23T08:42:09Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)
• Targeting Alignment: Extracting Safety Classifiers of Aligned LLMs [6.462219916993885]
  大規模言語モデル(LLM)のアライメントは、安全性などのガイドラインを強制するために使用される。 しかし、アライメントは、入力を変更して安全でない出力を誘導するjailbreak攻撃に直面して失敗する。 我々は,ジェイルブレイク攻撃のための新しい手法を紹介し,評価する。
  論文  参考訳（メタデータ） (2025-01-27T22:13:05Z)
• MF-CLIP: Leveraging CLIP as Surrogate Models for No-box Adversarial Attacks [65.86360607693457]
  敵に事前の知識がないノンボックス攻撃は、実際的な関連性にもかかわらず、比較的過小評価されている。 本研究は,大規模ビジョン・ランゲージ・モデル(VLM)をノンボックス・アタックの実行のための代理モデルとして活用するための体系的な研究である。 理論的および実証的な分析により,バニラCLIPを直接サロゲートモデルとして適用するための識別能力の不足に起因するno-boxアタックの実行に重要な制限があることが判明した。 MF-CLIP(MF-CLIP: MF-CLIP)はCLIPのサロゲートモデルとしての有効性を高める新しいフレームワークである。
  論文  参考訳（メタデータ） (2023-07-13T08:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。