Fugu-MT 論文翻訳(概要): JavelinGuard: Low-Cost Transformer Architectures for LLM Security

論文の概要: JavelinGuard: Low-Cost Transformer Architectures for LLM Security

arxiv url: http://arxiv.org/abs/2506.07330v1
Date: Mon, 09 Jun 2025 00:11:06 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-10 16:33:10.766723
Title: JavelinGuard: Low-Cost Transformer Architectures for LLM Security
Title（参考訳）: JavelinGuard: LLMセキュリティのための低コストトランスフォーマーアーキテクチャ
Authors: Yash Datta, Sharath Rajasekar,
Abstract要約: 本稿では,LLM(Large Language Model)インタラクションにおける悪意を検出するための,低コストで高性能なモデルアーキテクチャであるJavelinGuardを紹介する。私たちのモデルは、9つの異なる敵対的データセットに対して厳格にベンチマークされています。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present JavelinGuard, a suite of low-cost, high-performance model architectures designed for detecting malicious intent in Large Language Model (LLM) interactions, optimized specifically for production deployment. Recent advances in transformer architectures, including compact BERT(Devlin et al. 2019) variants (e.g., ModernBERT (Warner et al. 2024)), allow us to build highly accurate classifiers with as few as approximately 400M parameters that achieve rapid inference speeds even on standard CPU hardware. We systematically explore five progressively sophisticated transformer-based architectures: Sharanga (baseline transformer classifier), Mahendra (enhanced attention-weighted pooling with deeper heads), Vaishnava and Ashwina (hybrid neural ensemble architectures), and Raudra (an advanced multi-task framework with specialized loss functions). Our models are rigorously benchmarked across nine diverse adversarial datasets, including popular sets like the NotInject series, BIPIA, Garak, ImprovedLLM, ToxicChat, WildGuard, and our newly introduced JavelinBench, specifically crafted to test generalization on challenging borderline and hard-negative cases. Additionally, we compare our architectures against leading open-source guardrail models as well as large decoder-only LLMs such as gpt-4o, demonstrating superior cost-performance trade-offs in terms of accuracy, and latency. Our findings reveal that while Raudra's multi-task design offers the most robust performance overall, each architecture presents unique trade-offs in speed, interpretability, and resource requirements, guiding practitioners in selecting the optimal balance of complexity and efficiency for real-world LLM security applications.
Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)インタラクションにおける悪意を検出するために設計された,低コストで高性能なモデルアーキテクチャであるJavelinGuardについて紹介する。小型のBERT(Devlin et al 2019)変種(例えば、ModernBERT (Warner et al 2024))を含むトランスフォーマーアーキテクチャの最近の進歩により、標準CPUハードウェアでも高速な推論速度を実現する約400万のパラメータを持つ高精度な分類器を構築できるようになりました。 Sharanga(ベースライントランスフォーマー分類器)、Mahendra(より深い頭を持つ注意重み付けプール)、VaishnavaとAshwina(ハイブリッド・ニューラルアンサンブル・アーキテクチャ)、Raudra(特殊な損失関数を持つ高度なマルチタスク・フレームワーク)の5つの高度なトランスフォーマー・ベースアーキテクチャを体系的に検討した。当社のモデルは,NotInjectシリーズやBIPIA,Garak, ImprovedLLM, ToxicChat, WildGuard, そして新たに導入されたJavelinBenchなど,9つの敵対的データセットに対して厳格にベンチマークされています。さらに、主要なオープンソースガードレールモデルとgpt-4oのような大規模なデコーダのみのLLMを比較し、精度とレイテンシの点で優れたコストパフォーマンスのトレードオフを示す。我々の研究結果によると、Raudraのマルチタスク設計は全体として最も堅牢なパフォーマンスを提供するが、各アーキテクチャは、スピード、解釈可能性、リソース要件のユニークなトレードオフを示し、現実のLLMセキュリティアプリケーションにおいて、複雑性と効率の最適なバランスを選択するための実践者を導く。

関連論文リスト

Architecture-Aware Multi-Design Generation for Repository-Level Feature Addition [53.50448142467294]
RAIMは、リポジトリレベルの機能追加のための、多設計およびアーキテクチャ対応のフレームワークである。複数の多様な実装設計を生成することで、線形パッチから切り離される。 NoCode-bench Verifiedデータセットの実験では、RAIMが新しい最先端のパフォーマンスを確立することが示されている。
論文参考訳（メタデータ） (2026-03-02T12:50:40Z)
Hardware Co-Design Scaling Laws via Roofline Modelling for On-Device LLMs [49.99513618431772]
本稿では,モデル精度と推論性能を捉えるハードウェア共同設計法を提案する。我々はNVIDIA Jetson Orin上で1,942の候補アーキテクチャを実証的に評価した。我々のアーキテクチャはWikiText-2で19.42%低いパープレキシティを実現している。
論文参考訳（メタデータ） (2026-02-10T23:51:00Z)
Lightweight Transformer Architectures for Edge Devices in Real-Time Applications [0.0]
本調査では,エッジデプロイメント用に設計された軽量トランスフォーマーアーキテクチャについて検討する。我々は、MobileBERT、TinyBERT、DistilBERT、EfficientFormer、EdgeFormer、MobileViTなど、注目すべき軽量版を体系的にレビューした。実験により, モデルサイズを4～10倍, 推論遅延を3～9倍削減し, モデル精度を75～96%向上できることを確認した。
論文参考訳（メタデータ） (2026-01-05T01:04:25Z)
Youtu-LLM: Unlocking the Native Agentic Potential for Lightweight Large Language Models [78.73992315826035]
ネイティブエージェントインテリジェンスと高い計算効率を調和させる軽量言語モデルであるYoutu-LLMを紹介する。 Youtu-LLMは、スクラッチから体系的に推論と計画能力の育成まで事前訓練されている。
論文参考訳（メタデータ） (2025-12-31T04:25:11Z)
ShishuLM: Lightweight Language Model with Hybrid Decoder-MLP Architecture and Paired Weight Sharing [0.5565728870245015]
本稿では,パラメータカウントとキーバリュー(KV)キャッシュ要求の両方を削減できる,効率的な言語モデルアーキテクチャであるShishuLMを紹介した。以上の結果から,ShshuLMは最大25%のメモリ要求を削減し,トレーニングと推論の両方で最大40%のレイテンシ向上を実現していることがわかった。
論文参考訳（メタデータ） (2025-10-13T04:04:54Z)
The Power of Architecture: Deep Dive into Transformer Architectures for Long-Term Time Series Forecasting [26.76928230531243]
長期時系列予測(LTSF)においてトランスフォーマーモデルが最近主流となっている。エンコーダのみ、エンコーダのみ、デコーダのみの設計といったアーキテクチャのバリエーションは、決定的な疑問を引き起こす。既存のモデルは、しばしば様々な時系列固有の設計と密結合しており、アーキテクチャ自体の影響を分離することは困難である。本稿では,これらの設計を混乱させる新しい分類法を提案し,トランスフォーマーアーキテクチャのより明確で統一的な比較を可能にする。
論文参考訳（メタデータ） (2025-07-17T12:16:04Z)
Decoder-Hybrid-Decoder Architecture for Efficient Reasoning with Long Generation [129.45368843861917]
我々は、レイヤ間の効率的なメモリ共有のためのシンプルで効果的なメカニズムであるGated Memory Unit(GMU)を紹介した。これは、GMUを組み込んでSambaベースのセルフデコーダからメモリ読み出し状態を共有するデコーダ・ハイブリッド・デコーダアーキテクチャである。
論文参考訳（メタデータ） (2025-07-09T07:27:00Z)
Understanding and Optimizing Multi-Stage AI Inference Pipelines [11.254219071373319]
HERMESは不均一な多段LPM推論実行シミュレータである。 HERMESは、以前のフレームワークとは異なり、複数のモデルを同時に実行する異種クライアントをサポートする。我々は、推論ステージがエンドツーエンドのレイテンシ、ハイブリッドパイプラインの最適戦略、リモートKVキャッシュ検索のアーキテクチャ的影響について検討する。
論文参考訳（メタデータ） (2025-04-14T00:29:49Z)
ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
論文参考訳（メタデータ） (2025-03-24T13:11:22Z)
Sliding Window Attention Training for Efficient Large Language Models [55.56483740523027]
SWATを導入し,スライディングウインドウ・アテンション・トレーニング(Sliding Window Attention Training)を用いて,より効率的な長文処理を実現する。本稿ではまず,変圧器の非効率性を注目シンク現象とみなす。我々は、ソフトマックスをシグモイド関数に置き換え、効率的な情報圧縮と保持のためにバランスの取れたALiBiとRotary Position Embeddingを利用する。
論文参考訳（メタデータ） (2025-02-26T05:31:44Z)
AttentionSmithy: A Modular Framework for Rapid Transformer Development and Customization [0.0]
AttentionSmithyは、トランスフォーマーのイノベーションを単純化するモジュール式ソフトウェアパッケージです。ユーザは、広範なコーディングなしに、トランスフォーマーの変種を迅速にプロトタイプ化し、評価することができる。細胞型分類において95%以上の精度を達成し,遺伝子特異的モデリングにおける適応性を示す。
論文参考訳（メタデータ） (2025-02-13T17:15:26Z)
Yi-Lightning Technical Report [65.64771297971843]
Yi-Lightningは私たちの最新のフラッグシップ大型言語モデル(LLM)です。成績は最高で、アリーナでは6位にランクインした。従来の静的なベンチマーク結果と実世界の動的人間の嗜好との顕著な相違を観察する。
論文参考訳（メタデータ） (2024-12-02T08:22:56Z)
Demystifying AI Platform Design for Distributed Inference of Next-Generation LLM models [8.02264001053969]
大きな言語モデル(LLM)は、広範囲のアプリケーションで顕著なパフォーマンスを示しており、しばしば人間の専門家よりも優れています。 LLMの継続的なイノベーションが最適化に役立ち、モデルアーキテクチャはブレークネックスピードで進化しているため、サービスレベルオブジェクト(SLO)を満たすためのハードウェア要件は、オープンな研究課題のままである。我々は、多様なLLMモデルアーキテクチャとAIプラットフォーム設計パラメータの関係を効率的にナビゲートする分析ツールGenZを提案する。
論文参考訳（メタデータ） (2024-06-03T18:00:50Z)
Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
論文参考訳（メタデータ） (2024-03-26T16:33:12Z)
AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
論文参考訳（メタデータ） (2021-07-15T16:46:01Z)
Low-Precision Hardware Architectures Meet Recommendation Model Inference at Scale [11.121380180647769]
本稿では,低精度ハードウェアに参照レコメンデーションモデルを適用するための検索戦略について紹介する。また,ツールチェーンの設計と開発について論じ,モデルの精度を生涯にわたって維持する。これらの教訓は,ハードウェアアーキテクチャとソフトウェアエンジニアリングの協調設計を促進するものだ,と私たちは信じています。
論文参考訳（メタデータ） (2021-05-26T16:42:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。