論文の概要: EvoProbe: Evaluation-Driven Benchmark Evolution for LLM Agents
- arxiv url: http://arxiv.org/abs/2610.19433v1
- Date: Wed, 14 Oct 2026 02:27:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.900464
- Title: EvoProbe: Evaluation-Driven Benchmark Evolution for LLM Agents
- Title（参考訳）: EvoProbe: LLMエージェントの評価駆動ベンチマーク進化
- Abstract要約: EvoProbeは評価駆動型ベンチマーク進化フレームワークである。
タスク生成、診断評価、フィードバック駆動の再生をクローズドループに統合する。
- 参考スコア（独自算出の注目度）: 3.6487074597713174
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Static benchmarks for large language model (LLM) agents face saturation and data contamination risks, motivating continual updates to evaluation tasks. However, aggregate scores and success rates offer limited insight into specific problem-solving bottlenecks and provide limited guidance for subsequent task design. We propose EvoProbe, an evaluation-driven benchmark evolution framework that integrates task generation, diagnostic evaluation, and feedback-driven regeneration into a closed loop. It combines verifiable subtask outcome scoring with evidence-supported multi-judge trajectory evaluation and distills phase-level bottlenecks, success patterns, and failure patterns into diagnostic feedback for generating new executable tasks. Across two rounds of cybersecurity experiments, evaluations of eight models on 66 tasks reveal phase-level performance differences and common failure patterns beyond aggregate scores. In a cross-round comparison with the Examiner model set and solver configuration held fixed, all eight models achieve lower Outcome scores on the updated tasks, with relative decreases of 11.8\% in mean Outcome and 40.0\% in mean Pass\textasciicircum{}3. These results support using fine-grained diagnostics to guide iterative task updates and probe agents' current capabilities and limitations.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントの静的ベンチマークは飽和やデータ汚染のリスクに直面し、評価タスクへの継続的な更新を動機付けている。
しかし、スコアと成功率の合計は、特定の問題解決ボトルネックについての限られた洞察を与え、その後のタスク設計のための限定的なガイダンスを提供する。
本稿では,タスク生成,診断評価,フィードバック駆動による再生成をクローズドループに統合する評価駆動型ベンチマーク進化フレームワークであるEvoProbeを提案する。
検証可能なサブタスク結果とエビデンス支援されたマルチジャッジ軌道評価を組み合わせることで、フェーズレベルのボトルネック、成功パターン、障害パターンを抽出し、新たな実行可能なタスクを生成するための診断フィードバックに組み込む。
2回のサイバーセキュリティ実験では、66タスク上の8つのモデルの評価結果から、フェーズレベルのパフォーマンス差と、集計スコアを超える一般的な障害パターンが明らかになった。
固定されたExaminerモデルセットとソルバ構成とのクロスラウンド比較では、更新されたタスクのアウトカムスコアが低く、平均アウトカムが11.8\%、平均Pass\textasciicircum{}3が40.0\%である。
これらの結果は、反復的なタスク更新とプローブエージェントの現在の機能と制限をガイドするために、きめ細かい診断を使用するのをサポートする。
関連論文リスト
- Benchmarking Self-Supervised 3D Medical Vision Foundation Models and Transferability Estimation [57.65266782182578]
セルフ教師付き事前トレーニングは、3D医療基盤モデルのプールを拡張したが、異なるデータセット、エンドポイント、微調整プロトコルを使用した評価を公表した。
14のセグメンテーション、分類、回帰タスク、複数の解剖学とモダリティにまたがる23の候補をベンチマークした。
3モデルショートリストは、7つのセグメンテーションタスクで記録された抜粋+訓練ジョブ時間を85.8%削減した。
論文 参考訳（メタデータ） (2026-10-13T01:52:19Z) - VLA-GAUGE: Systematically Evaluating Generalization and Robustness in Vision-Language-Action Models [15.935916217039091]
VLA(Vision-Language-Action Model)は、慣れ親しんだ操作タスクにおいて高い成功率を達成した。
そのようなスコアが真のゼロショット一般化と摂動ロバスト性を反映しているかどうかは不明である。
VLA-GAUGEは、共有タスク表現の下で両方の評価を統一する診断フレームワークである。
論文 参考訳（メタデータ） (2026-10-12T10:48:12Z) - MMPostTrainBench: Benchmarking Autonomous Research for Multimodal Post-Training [37.86472029294709]
LLMエージェントは機械学習と言語モデルポストトレーニングの自動化を約束するが、マルチモーダル改善を維持する能力は未だ不明である。
MMPostTrainBenchは、画像、音声、ビデオ、共同音声映像理解と画像地上ソフトウェア修復の8つのタスクにまたがるベンチマークである。
評価は、ターゲットモデルと非ターゲットモデルの結果、反復モデルの改善と選択、研究の完全性をカバーする。
論文 参考訳（メタデータ） (2026-10-04T17:32:58Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。
$textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
論文 参考訳（メタデータ） (2026-08-20T15:24:54Z) - FATE-VLA:Failue-aware test generation for vision-language-action models [10.716019832991046]
ビジョンランゲージ・アクションモデルは、ジェネラリストロボットポリシーとしてますます使われている。
高次元のエンボディド空間では、障害はスパースでクラスタ化されているため、静的なベンチマークはリスクを過小評価する可能性がある。
本稿では,多様性に基づく探索と観察結果から得られたサロゲートモデルを組み合わせたフェールアウェアなテスト生成手法を提案する。
論文 参考訳（メタデータ） (2026-06-01T14:27:13Z) - BenchTrace: A Benchmark for Testing Reflection Ability and Controlled Evolution in LLM Agents [24.997265534888626]
LLMエージェントの自己進化能力を評価するベンチマークである textbfBenchTrace を提案する。
BenchTraceは6つのタスクにまたがる1,821の注釈付きエピソードのスナップショット・リフレクションデータセット上に構築されている。
エージェントがターゲットの障害インスタンスをうまく回避するテストケースの割合を計測する新しい評価指標であるtextbffailure avoidance rate (FAR) を提案する。
論文 参考訳（メタデータ） (2026-05-28T01:25:37Z) - Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。
本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。
本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
論文 参考訳（メタデータ） (2026-04-27T09:00:30Z) - Pioneer Agent: Continual Improvement of Small Language Models in Production [6.452260317191361]
小さな言語モデルは、低コスト、高速な推論、特殊化の容易さのために、製品展開にとって魅力的なものだ。
特定のタスクに小さな言語モデルを適用するプロセスを自動化するクローズドループシステムであるPioneer Agentを提案する。
論文 参考訳（メタデータ） (2026-04-10T18:13:09Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。