論文の概要: JavelinGuard: Low-Cost Transformer Architectures for LLM Security

• arxiv url: http://arxiv.org/abs/2506.07330v1
• Date: Mon, 09 Jun 2025 00:11:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.766723
• Title: JavelinGuard: Low-Cost Transformer Architectures for LLM Security
• Title（参考訳）: JavelinGuard: LLMセキュリティのための低コストトランスフォーマーアーキテクチャ
• Authors: Yash Datta, Sharath Rajasekar,
• Abstract要約: 本稿では,LLM(Large Language Model)インタラクションにおける悪意を検出するための,低コストで高性能なモデルアーキテクチャであるJavelinGuardを紹介する。 私たちのモデルは、9つの異なる敵対的データセットに対して厳格にベンチマークされています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present JavelinGuard, a suite of low-cost, high-performance model architectures designed for detecting malicious intent in Large Language Model (LLM) interactions, optimized specifically for production deployment. Recent advances in transformer architectures, including compact BERT(Devlin et al. 2019) variants (e.g., ModernBERT (Warner et al. 2024)), allow us to build highly accurate classifiers with as few as approximately 400M parameters that achieve rapid inference speeds even on standard CPU hardware. We systematically explore five progressively sophisticated transformer-based architectures: Sharanga (baseline transformer classifier), Mahendra (enhanced attention-weighted pooling with deeper heads), Vaishnava and Ashwina (hybrid neural ensemble architectures), and Raudra (an advanced multi-task framework with specialized loss functions). Our models are rigorously benchmarked across nine diverse adversarial datasets, including popular sets like the NotInject series, BIPIA, Garak, ImprovedLLM, ToxicChat, WildGuard, and our newly introduced JavelinBench, specifically crafted to test generalization on challenging borderline and hard-negative cases. Additionally, we compare our architectures against leading open-source guardrail models as well as large decoder-only LLMs such as gpt-4o, demonstrating superior cost-performance trade-offs in terms of accuracy, and latency. Our findings reveal that while Raudra's multi-task design offers the most robust performance overall, each architecture presents unique trade-offs in speed, interpretability, and resource requirements, guiding practitioners in selecting the optimal balance of complexity and efficiency for real-world LLM security applications.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)インタラクションにおける悪意を検出するために設計された,低コストで高性能なモデルアーキテクチャであるJavelinGuardについて紹介する。 小型のBERT(Devlin et al 2019)変種(例えば、ModernBERT (Warner et al 2024))を含むトランスフォーマーアーキテクチャの最近の進歩により、標準CPUハードウェアでも高速な推論速度を実現する約400万のパラメータを持つ高精度な分類器を構築できるようになりました。 Sharanga(ベースライントランスフォーマー分類器)、Mahendra(より深い頭を持つ注意重み付けプール)、VaishnavaとAshwina(ハイブリッド・ニューラルアンサンブル・アーキテクチャ)、Raudra(特殊な損失関数を持つ高度なマルチタスク・フレームワーク)の5つの高度なトランスフォーマー・ベースアーキテクチャを体系的に検討した。 当社のモデルは,NotInjectシリーズやBIPIA,Garak, ImprovedLLM, ToxicChat, WildGuard, そして新たに導入されたJavelinBenchなど,9つの敵対的データセットに対して厳格にベンチマークされています。 さらに、主要なオープンソースガードレールモデルとgpt-4oのような大規模なデコーダのみのLLMを比較し、精度とレイテンシの点で優れたコストパフォーマンスのトレードオフを示す。 我々の研究結果によると、Raudraのマルチタスク設計は全体として最も堅牢なパフォーマンスを提供するが、各アーキテクチャは、スピード、解釈可能性、リソース要件のユニークなトレードオフを示し、現実のLLMセキュリティアプリケーションにおいて、複雑性と効率の最適なバランスを選択するための実践者を導く。

関連論文リスト

• Understanding and Optimizing Multi-Stage AI Inference Pipelines [11.254219071373319]
  HERMESは不均一な多段LPM推論実行シミュレータである。 HERMESは、以前のフレームワークとは異なり、複数のモデルを同時に実行する異種クライアントをサポートする。 我々は、推論ステージがエンドツーエンドのレイテンシ、ハイブリッドパイプラインの最適戦略、リモートKVキャッシュ検索のアーキテクチャ的影響について検討する。
  論文  参考訳（メタデータ） (2025-04-14T00:29:49Z)
• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• Sliding Window Attention Training for Efficient Large Language Models [55.56483740523027]
  SWATを導入し,スライディングウインドウ・アテンション・トレーニング(Sliding Window Attention Training)を用いて,より効率的な長文処理を実現する。 本稿ではまず,変圧器の非効率性を注目シンク現象とみなす。 我々は、ソフトマックスをシグモイド関数に置き換え、効率的な情報圧縮と保持のためにバランスの取れたALiBiとRotary Position Embeddingを利用する。
  論文  参考訳（メタデータ） (2025-02-26T05:31:44Z)
• Demystifying AI Platform Design for Distributed Inference of Next-Generation LLM models [8.02264001053969]
  大きな言語モデル(LLM)は、広範囲のアプリケーションで顕著なパフォーマンスを示しており、しばしば人間の専門家よりも優れています。 LLMの継続的なイノベーションが最適化に役立ち、モデルアーキテクチャはブレークネックスピードで進化しているため、サービスレベルオブジェクト(SLO)を満たすためのハードウェア要件は、オープンな研究課題のままである。 我々は、多様なLLMモデルアーキテクチャとAIプラットフォーム設計パラメータの関係を効率的にナビゲートする分析ツールGenZを提案する。
  論文  参考訳（メタデータ） (2024-06-03T18:00:50Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。