論文の概要: BELLS-O: Evaluating the Operational Trade-offs of LLM Supervision Systems

• arxiv url: http://arxiv.org/abs/2606.20668v1
• Date: Fri, 12 Jun 2026 07:25:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:18:45.119107
• Title: BELLS-O: Evaluating the Operational Trade-offs of LLM Supervision Systems
• Title（参考訳）: BELLS-O:LLMスーパービジョンシステムの運用トレードオフ評価
• Abstract要約: LLM監視システムの最初の独立した運用ベンチマークであるBELLS-Oを紹介する。 BELLS-Oは、検出率、偽陽性率、レイテンシ、金銭的コストについて、17のプロバイダから28のシステムを評価する。 我々は、11の有害カテゴリにまたがる入力/出力のモデレーションと13の攻撃テクニックにまたがるジェイルブレイク検出をカバーしている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM supervision systems, namely input/output moderation filters and jailbreak detectors, are the primary safeguard against misuse in deployed AI applications, yet existing benchmarks are often vendor-biased, omit cost and latency, and rarely compare specialized guardrails against repurposed generalist LLMs. We present BELLS-O (Benchmark for the Evaluation of LLM Supervision Systems, Operational), the first independent operational benchmark of LLM supervision systems. BELLS-O evaluates 28 systems from 17 providers: every major specialized guardrail (e.g., LlamaGuard-4, ShieldGemma-2, Lakera Guard) and frontier generalists repurposed as supervisors (e.g., GPT-5.4, Claude Sonnet 4.6, Grok-4.1), jointly on detection rate, false-positive rate, latency, and monetary cost. We cover input/output moderation across 11 harm categories and jailbreak detection across 13 attack techniques, using in-house datasets built from handcrafted prompts, expert-curated samples, and quality-controlled synthetic generation. To suppress latent generator fingerprints in synthetic data, every generated sample is paraphrased. Mapping the Pareto frontier reveals use-case-dependent tradeoffs. On content moderation, specialized supervisors are operationally dominant: top systems match frontier LLMs on detection (~95% vs. 94%) at comparably low false-positive rates (<=2%), while running 5-10x faster and ~10x cheaper. On jailbreak detection, the tradeoff shifts: frontier LLMs achieve higher detection and lower false-positive rates but at 10-50x higher cost and 5-10x higher latency. We release the benchmark, framework, leaderboard, and datasets as the first vendor-neutral basis for selecting safeguards under real deployment constraints.
• Abstract（参考訳）: LLM監視システム、すなわち入出力モデレーションフィルタとジェイルブレイク検出器は、デプロイされたAIアプリケーションにおける誤用に対する主要な保護である。 本稿では, LLM監督システムの最初の独立した運用ベンチマークである BELLS-O (Benchmark for the Evaluation of LLM Supervision Systems, Operational) を紹介する。 BELLS-Oは17のプロバイダーから28のシステムを評価している: 主要な特殊ガードレール(LlamaGuard-4、ShieldGemma-2、Lakera Guard)とフロンティアのジェネリスト(例えば、GPT-5.4、Claude Sonnet 4.6、Grok-4.1)は、検出率、偽陽性率、遅延、金銭的コストを共同で検討している。 我々は、手作りのプロンプト、エキスパートキュレートされたサンプル、品質管理された合成生成から構築された社内データセットを用いて、11の有害カテゴリの入力/出力のモデレーションと13の攻撃テクニックのジェイルブレイク検出をカバーしている。 合成データ中の潜伏発電機指紋を抑制するために、生成された各サンプルはパラフレーズ化される。 Paretoフロンティアのマッピングはユースケースに依存したトレードオフを明らかにする。 トップシステムは検出においてフロンティアのLLMと一致し(95%対94%)、低い偽陽性率で(=2%)、同時に5～10倍速く動作し、約10倍安くなる。 境界LDMは高い検出と低い偽陽性率を実現するが、コストは10～50倍、レイテンシは5～10倍である。 私たちは、ベンチマーク、フレームワーク、リーダーボード、データセットを、実際のデプロイメント制約の下でセーフガードを選択するための最初のベンダー中立基盤としてリリースしています。

関連論文リスト

• GuardNet: Ensemble Strategies of Shallow Neural Networks for Robust Prompt Injection and Jailbreak Detection [0.0]
  大規模言語モデル(LLM)は自然言語処理を変換しているが、攻撃に弱いままである。 この研究は、浅いニューラルネットワーク(BiLSTM)のアンサンブルに基づくガードレールシステムであるガードネットを提示する。 システムはCPU上で平均50ミリ秒のレイテンシで動作し、本番環境へのデプロイに適している。
  論文  参考訳（メタデータ） (2026-06-04T01:24:15Z)
• LLM-Enhanced Log Anomaly Detection: A Comprehensive Benchmark of Large Language Models for Automated System Diagnostics [0.0]
  大規模言語モデル(LLM)は、ログ理解のための有望な新しいアプローチを提供する。 LLMはラベル付きトレーニングデータを必要とせずに、目覚ましいゼロショット機能を示す。 本研究は,ログ異常検出方法を選択するための実用的なガイドラインを提供する。
  論文  参考訳（メタデータ） (2026-04-14T02:51:48Z)
• Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
  ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。 決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。 NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
  論文  参考訳（メタデータ） (2026-03-29T18:52:01Z)
• LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
  評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。 このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。 チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
  論文  参考訳（メタデータ） (2026-03-28T18:03:32Z)
• Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
  我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。 内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-03-13T20:44:15Z)
• The bitter lesson of misuse detection [0.0]
  本稿では,LLMスーパービジョンシステム評価のためのベンチマークであるBELLSを紹介する。 ベルの枠組みは、重度(良性、境界線、有害)と敵対的洗練(直接対ジェイルブレイク)の2次元である。 本評価は, 専門監督システムの大幅な限界を明らかにするものである。
  論文  参考訳（メタデータ） (2025-07-08T15:21:17Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• TrojanWhisper: Evaluating Pre-trained LLMs to Detect and Localize Hardware Trojans [0.0]
  既存のハードウェアトロイの木馬検出法はいくつかの限界に直面している。 LLM(Large Language Models)の出現は、HT検出に有望な新しい方向を提供する。 本稿では,レジスタ転送レベル (RTL) に挿入された各種HTの検出における汎用LLMの可能性について検討する。
  論文  参考訳（メタデータ） (2024-12-10T16:16:22Z)
• Iterative Self-Tuning LLMs for Enhanced Jailbreaking Capabilities [50.980446687774645]
  本稿では,対戦型LDMをジェイルブレイク能力に富んだ反復的自己調整プロセスであるADV-LLMを紹介する。 我々のフレームワークは,様々なオープンソース LLM 上で ASR を100% 近く達成しながら,逆接接尾辞を生成する計算コストを大幅に削減する。 Llama3のみに最適化されているにもかかわらず、GPT-3.5では99%のASR、GPT-4では49%のASRを達成している。
  論文  参考訳（メタデータ） (2024-10-24T06:36:12Z)
• Multi-Domain Polarization for Enhancing the Physical Layer Security of MIMO Systems [51.125572358881556]
  無線通信システムのセキュリティを高めるために,新しい物理層セキュリティ(PLS)フレームワークが考案されている。 マルチドメイン分極に基づく高度な鍵生成方式と対応する受信機を設計する。 提案手法は,無線通信システムのセキュリティと信頼性を効果的に向上させるものである。
  論文  参考訳（メタデータ） (2023-10-31T05:50:24Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。