論文の概要: JEV as a Judge for Agent Trace Security: An Empirical Comparison with Generative LLM Judges
- arxiv url: http://arxiv.org/abs/2609.34862v1
- Date: Mon, 28 Sep 2026 10:51:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 02:09:17.935505
- Title: JEV as a Judge for Agent Trace Security: An Empirical Comparison with Generative LLM Judges
- Title（参考訳）: エージェントトレースセキュリティの裁判官としてのJEV:ジェネレーティブLLM判事との実証比較
- Abstract要約: 我々は,型付き決定モデルであるJEVが,振り返りトレース分類に有用な代替手段であるかどうかを検討する。
5,219件のトラジェクトリを集計し,JEVと4人のジェネレーティブ・ジャッジを評価した。
JEV は 74.1 と比較して 77.8 のベンチマーク平均正のクラス F1 を達成している。
- 参考スコア（独自算出の注目度）: 4.972830125094863
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Security evaluation of tool-using agents requires judging actions in context, yet generative judges add latency, explanation overhead, and output-validation failures. We study whether JEV, a typed decision model, offers a useful alternative for retrospective trace classification. We evaluate JEV and four generative judges on four benchmark collections totaling 5,219 trajectories, using a common risk rubric and behavior-level labels. JEV attains a benchmark-averaged positive-class F1 of 77.8, compared with 74.1 for the strongest generative configuration, GLM-5.2, with valid-result coverage of 95.5\% and 94.4\%, respectively. Performance varies across datasets, with JEV leading on ATBench500 and MCPHunt and GLM leading on R-Judge and TraceSafe. Across the four benchmarks, JEV's median successful-call latency is 0.99 seconds; estimated token cost averages \$0.000195 per valid judgment. These results support JEV as an economical screening signal, with trade-offs in precision and recall.
- Abstract（参考訳）: ツール使用エージェントのセキュリティ評価には、コンテキスト内のアクションを判断する必要があるが、生成的判断者は、レイテンシ、説明オーバーヘッド、出力バリデーション障害を追加する。
我々は,型付き決定モデルであるJEVが,振り返りトレース分類に有用な代替手段であるかどうかを検討する。
JEVと4人のジェネレーティブ・ジャッジを5,219件のトラジェクトリで評価し,共通リスクルーブリックと行動レベルラベルを用いて評価した。
JEV は 平均 77.8 の正のクラス F1 を、最強の世代構成 GLM-5.2 の 74.1 と比較し、95.5\% と94.4\% の正のクラス F1 を達成している。
パフォーマンスはデータセットによって異なり、JEVはATBench500、MCPHunt、GLMはR-Judge、TraceSafeがリードする。
4つのベンチマーク全体で、JEVの中央値のコールレイテンシは0.99秒であり、トークンコストは有効判定当たり0.000195ドルである。
これらの結果は、正確な精度とリコールのトレードオフを伴う経済的なスクリーニング信号としてJEVをサポートします。
関連論文リスト
- JevVibe: Efficient Classification-Guided Secure Code Generation [13.179507242314253]
Jevは、宣言された候補セットから直接選択し、各候補に対して確率を返す決定モデルである。
JevVibeは診断誘導修復剤で、Qwen2.5-Coder-32B-Instructによって生成されたコードに予測されたCWEラベルを使用する。
論文 参考訳（メタデータ） (2026-09-28T11:47:38Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - JEV-as-a-Judge: Accept When Confident, Escalate When Unsure [8.817173484053148]
テキストの代わりにラベル確率を返却する判断のみの判断であるJEVを用いて評価を行う。
16人のジェネレーティブおよび報酬モデル判事に対して、視覚障害者はGPT-6の3点以内である。
しきい値が事前に凍結され、確実な評決を受け入れ、残りをエスカレートすると、手数料の41%でGPT-6よりも0.9ポイント正確になる。
論文 参考訳（メタデータ） (2026-09-22T15:05:56Z) - GuardNet: Ensemble Strategies of Shallow Neural Networks for Robust Prompt Injection and Jailbreak Detection [0.0]
大規模言語モデル(LLM)は自然言語処理を変換しているが、攻撃に弱いままである。
この研究は、浅いニューラルネットワーク(BiLSTM)のアンサンブルに基づくガードレールシステムであるガードネットを提示する。
システムはCPU上で平均50ミリ秒のレイテンシで動作し、本番環境へのデプロイに適している。
論文 参考訳（メタデータ） (2026-06-04T01:24:15Z) - A Visually Impaired Assistance Benchmark for VLM-as-a-Judge Evaluation [20.85322322092838]
VLM-as-a-Judge Evaluation(VLM-as-a-Judge Evaluation)の最初のベンチマークであるVIABLE(Visually Impaired Assistance Benchmark for VLM-as-a-Judge Evaluation)を紹介する。
異なるモデルスケールにわたる7つの審査員の体系的研究は、既存のモデルがすべての評価軸に対してほとんど信頼できないことを示している。
本稿では,視覚的エビデンス抽出と分類誘導ワークフローによって判断を補強するモデル非依存型推論時間ハーネスであるVIA-Judge-Agentを提案する。
論文 参考訳（メタデータ） (2026-05-29T14:28:20Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - ObjexMT: Objective Extraction and Metacognitive Calibration for LLM-as-a-Judge under Multi-Turn Jailbreaks [12.396822247035578]
目的抽出とメタ認知のためのベンチマークであるexMTを提案する。
マルチターン書き起こしが与えられた場合、モデルは1文ベース目標と自己報告された自信を出力しなければならない。
正確性は金の目標と類似性によって評価され、300の校正項目で1度閾値付けされる。
論文 参考訳（メタデータ） (2025-08-23T03:32:04Z) - Hard Negatives, Hard Lessons: Revisiting Training Data Quality for Robust Information Retrieval with LLMs [53.78110936809744]
堅牢で再帰的なモデルのトレーニングは通常、大規模なデータセットに依存します。
トレーニングデータセットにおいて、偽陰性を識別し、許容する。
トレーニングデータセットとコードは公開されています。
論文 参考訳（メタデータ） (2025-05-22T17:47:57Z) - J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。
我々はReasoningJudgeBenchというベンチマークを紹介します。
EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
論文 参考訳（メタデータ） (2025-05-19T16:50:35Z) - Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators [66.83088028268318]
本稿では,テスト時間スケーリングベンチマークの判定評価について紹介する。
3つのタスク設定の下で、3つのドメイン(推論、コード生成、命令従)での判定性能を評価する。
我々のベンチマークは、審査員が再評価において結果報酬モデルと競合する一方で、ビームサーチにおけるプロセス報酬モデルよりも一貫して悪いことを示している。
論文 参考訳（メタデータ） (2025-04-21T17:33:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。