論文の概要: Certified Selective Automation of LLM Agent Evaluation

• arxiv url: http://arxiv.org/abs/2609.34320v1
• Date: Mon, 28 Sep 2026 05:00:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 21:50:13.513177
• Title: Certified Selective Automation of LLM Agent Evaluation
• Title（参考訳）: LLMエージェント評価の認定自動化
• Abstract要約: テスト対象のシステム毎に有効なタスクレベルのブートストラップ証明書を導入します。 ツールユースとウェブコーパスの0.30-0.59をα=0.1で認証する。 自己学習フィルターとして機能し、裁判官がターゲットのトレーニングラベルをゼロにすることで、ドメイン内の強度で見えないドメインに入ることができる。
• 参考スコア（独自算出の注目度）: 10.719117088315338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating LLM agents still ends with a human reading trajectories, because automatic judges carry no guarantee on how often they are wrong. We ask the operational question: what fraction of agent evaluation can a judge take over, with a certificate that the error rate among auto-decided trajectories stays below a budget alpha? Agent corpora resist the standard answer: many agents attempt the same tasks, so trajectories arrive in correlated clusters, and the i.i.d. certificates of existing selective-judging methods can overstate what is safe: a naive certificate can claim 98% automation while its realized error exceeds the budget in 17.5% of task resamples. We introduce a task-level bootstrap certificate that is valid in every regime we test while matching the naive certificate's coverage; finite-sample cluster-valid alternatives certify nothing at realistic task counts. Under this certificate, a 4B logprob judge trained with SFT and reject-weighted GRPO certifies 0.30-0.59 of evaluation on tool-use and web corpora at alpha=0.1, the only judge, among strongly elicited frontier models, certifying on both headline corpora. Certified coverage is predictable before training from base rate and discrimination alone (leave-one-corpus-out R^2=0.96). Finally, the certificate doubles as a self-training filter: pseudo-labels harvested inside certified regions have contamination bounded by alpha by construction (realized 0.000-0.041 across six harvests), letting a judge enter an unseen domain at in-domain strength with zero target training labels.
• Abstract（参考訳）: LLMエージェントの評価は、自動判断器が間違いの頻度を保証しないため、人間の読み道で終わっている。 自動決定された軌跡のエラー率が予算のアルファ以下であることの証明で、裁判官が引き継ぐことができるエージェント評価のどの部分か? エージェントコーポラは標準的な答えに反する: 多くのエージェントが同じタスクを試み、トラジェクトリが相関クラスタに到着し、既存の選択的判断方法の証明書は安全性を過小評価することができる: 単純証明は98%の自動化を主張でき、実際のエラーは17.5%のタスク再サンプリングで予算を超える。 実数的なタスク数で何も証明しない有限サンプルのクラスタ無効な代替手段を,ナイーブ証明書のカバレッジに適合させながら,テストするすべてのシステムで有効なタスクレベルのブートストラップ証明書を導入します。 この証明書では、SFTで訓練された4Bログプロブの裁判官が、ツール使用とWebコーパスの評価の0.30-0.59を認証する。 認定済みのカバレッジは、ベースレートと差別のみからトレーニング前に予測可能である(Leve-one-corpus-out R^2=0.96)。 最後に、証明書は自己学習フィルタとして二重化される:認証領域内で収穫された擬似ラベルは、建設によってアルファによって汚染される(6つの収穫で0.000-0.041が実現)ため、裁判官は、ターゲットのトレーニングラベルがゼロのドメイン強度で未確認領域に入ることができる。

関連論文リスト

• Certified Safety Curation: Distribution-Free Guarantees for Safe Offline Reinforcement Learning [0.0]
  Filter-then-cloneパイプライン: セグメント比較からトレーニングされた状態のみの値が、すべてのトラジェクトリをスコアする。 我々は、オフラインのRLや模倣のためのトレーニングセットの構成を認定する事前の作業について知りません。
  論文  参考訳（メタデータ） (2026-09-10T06:45:32Z)
• Post-Hoc Trajectory-Risk Certification for Modular LLM-Based Security Agents [1.4915002678801434]
  ボンフェロニ配置は分布自由であるが,相関誤差下では保守的であることを示す。 粗いラベルの選択は、学習された依存なしにほぼ完璧な相関関係を作ることができる。 ステージ単位の証明書とペアの重なり合うバウンドを用いたモジュール証明書は、正の平均利得が0.6%となる。
  論文  参考訳（メタデータ） (2026-08-04T23:48:36Z)
• CAGE: Certified Authorization under Typed-Return Uncertainty for Tool-Using Agents [12.471369656645512]
  我々は、妥当な拘束力のあるリターンの宣言された地区で、候補者の行動が承認されるかどうかを問う。 分類チャネルと数値チャネルを別々に認証することは、構成されていないことを証明している。 CAGEは、この共同近所を直接認証し、個別の枝を正確に列挙する。
  論文  参考訳（メタデータ） (2026-07-31T09:11:56Z)
• Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
  セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。 以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。 我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
  論文  参考訳（メタデータ） (2026-07-30T16:22:13Z)
• AEVAL: From Anecdotal to Deterministic Testing for Agentic Skill Workflows [1.6785141970297952]
  AEVAL(Agentic Evaluation)はCI統合フレームワークで、このプラクティスをエージェントスキルのための決定論的かつ再現可能なテストパイプラインに置き換える。 すべてのスキル変更がテストイベントをトリガーする。スキルは、自動エグゼキュータ内の開発者が宣言した評価契約に対して実行される。 鍵となる要素は、実行子とグレーダの間の構造的分離であり、微妙だが広汎な障害モードを防止する。
  論文  参考訳（メタデータ） (2026-07-16T21:33:05Z)
• Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
  ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。 決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。 NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
  論文  参考訳（メタデータ） (2026-03-29T18:52:01Z)
• VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
  VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。 セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。 平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
  論文  参考訳（メタデータ） (2025-09-15T02:25:38Z)
• Adaptive Hierarchical Certification for Segmentation using Randomized Smoothing [87.48628403354351]
  機械学習の認証は、特定の条件下では、敵対的なサンプルが特定の範囲内でモデルを回避できないことを証明している。 セグメンテーションの一般的な認証方法は、平らな粒度のクラスを使い、モデルの不確実性による高い断続率をもたらす。 本稿では,複数レベルの階層内で画素を認証し,不安定なコンポーネントに対して粗いレベルに適応的に認証を緩和する,新しい,より実用的な設定を提案する。
  論文  参考訳（メタデータ） (2024-02-13T11:59:43Z)
• Deep Partition Aggregation: Provable Defense against General Poisoning Attacks [136.79415677706612]
  アドリアリン中毒は、分類器の試験時間挙動を損なうために訓練データを歪ませる。 毒殺攻撃に対する2つの新たな防御策を提案する。 DPAは一般的な中毒脅威モデルに対する認証された防御である。 SS-DPAはラベルフリップ攻撃に対する認証された防御である。
  論文  参考訳（メタデータ） (2020-06-26T03:16:31Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。