論文の概要: AgentPulse: A Continuous Multi-Signal Framework for Evaluating AI Agents in Deployment
- arxiv url: http://arxiv.org/abs/2604.24038v1
- Date: Mon, 27 Apr 2026 04:48:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.742278
- Title: AgentPulse: A Continuous Multi-Signal Framework for Evaluating AI Agents in Deployment
- Title（参考訳）: AgentPulse: デプロイメントにおけるAIエージェント評価のための継続的マルチ署名フレームワーク
- Abstract要約: 静的ベンチマークは、AIエージェントが一定時点で何ができるかを測定するが、どのように採用され、維持され、デプロイの経験があるかは測らない。
AgentPulseは,10のワークロードカテゴリにまたがる50のエージェントを4つの要因から評価する継続的評価フレームワークである。
すべての収集信号、スコア出力、評価ハーネスをCC BY 4.0でリリースする。
- 参考スコア（独自算出の注目度）: 1.2299000423193074
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Static benchmarks measure what AI agents can do at a fixed point in time but not how they are adopted, maintained, or experienced in deployment. We introduce AgentPulse, a continuous evaluation framework scoring 50 agents across 10 workload categories along four factors (Benchmark Performance, Adoption Signals, Community Sentiment, and Ecosystem Health) aggregated from 18 real-time signals across GitHub, package registries, IDE marketplaces, social platforms, and benchmark leaderboards. Three analyses ground the framework. The four factors capture largely complementary information (n=50; $ρ_{\max}=0.61$ for Adoption-Ecosystem, all others $|ρ| \leq 0.37$). A circularity-controlled test (n=35) shows the Benchmark+Sentiment sub-composite, which contains no GitHub-derived signals, predicts external adoption proxies it does not aggregate: GitHub stars ($ρ_s=0.52$, $p<0.01$) and Stack Overflow question volume ($ρ_s=0.49$, $p<0.01$), with VS Code installs ($ρ_s=0.44$, $p<0.05$) reported as illustrative given that only 11 of 35 agents have non-zero installs. On the n=11 subset with published SWE-bench scores, composite and benchmark-only rankings are nearly uncorrelated ($ρ_s=0.25$; 9 of 11 agents shift by at least 2 ranks), driven by a strong negative Adoption-Capability correlation among closed-source high-capability agents within this subset. This is precisely why we rest the framework's validity claim on the broader n=35 test rather than the SWE-bench overlap. AgentPulse surfaces deployment signal absent from benchmarks; it is a methodology, not a ground-truth ranking. The framework, all collected signals, scoring outputs, and evaluation harness are released under CC BY 4.0.
- Abstract（参考訳）: 静的ベンチマークは、AIエージェントが一定時点で何ができるかを測定するが、どのように採用され、維持され、デプロイの経験があるかは測らない。
AgentPulseは、GitHubの18のリアルタイムシグナル、パッケージレジストリ、IDEマーケットプレース、ソーシャルプラットフォーム、ベンチマークリーダボードから集約された、4つの要因(ベンチマークパフォーマンス、採用シグナル、コミュニティセンチメント、エコシステムヘルス)に沿って、10のワークロードカテゴリに50のエージェントをスコア付けする継続的評価フレームワークである。
3つの分析がフレームワークの基礎となる。
4つの因子は相補的な情報(n=50; $ρ_{\max}=0.61$ for Adoption-Ecosystem, all else $|ρ| \leq 0.37$)をほとんど取得する。
GitHubのスター(ρ_s=0.52$, $p<0.01$)とStack Overflowの問題ボリューム(ρ_s=0.49$, $p<0.01$)。
公表されたSWEベンチスコアを持つn=11サブセットでは、複合的およびベンチマークのみのランキングはほぼ無相関(ρ_s=0.25$; 9 of 11 agent shift by least 2 rank)であり、このサブセット内のクローズドソースのハイキャパビリティーエージェント間の強い負のAccession-Capability相関によって引き起こされる。
これが、SWE-ベンチ重なりではなく、より広い n=35 テストに対するフレームワークの妥当性主張を確実に残す理由である。
AgentPulseは、ベンチマークから外れたデプロイメントシグナルをサーフェスする。
すべての収集信号、スコア出力、評価ハーネスをCC BY 4.0でリリースする。
関連論文リスト
- Deployment Decision Reliability: A Generalizability-Theory Framework for Sizing Long-Horizon Agent Evaluations [0.0]
3つのオープンエージェントトレースベンチマークで、エージェントのメインエフェクトが各データセットとチェックタイプにおける全分散の3%未満を占めていることを示す。
3つの推定器に適合する4面の一般化可能性理論の分散分解を通してこれを達成する。
これをデプロイ決定信頼性(DDR:Deployment Decision Reliability)という,分散コンポーネントテーブルを企業購入者が防御できる5つの決定に変換する,ワンページレポートの規律にパッケージ化します。
論文 参考訳（メタデータ） (2026-08-11T18:16:51Z) - Safety, or Just Capability? A Validity Audit of Agent-Safety Benchmarks [10.839956062772792]
3つのエージェントセーフティベンチマークは同じ18モデルのランクが異なる。
AgentHarmの安全性に対するR-Judgeの特異性は、$-0.64$ at $n=7$と$+0.02$ at $n=18$と相関しており、ランダムサイズ7サブセットの4分の1は、そのほぼゼロの値の周りで$|| geq 0.5$に達する。
AgentHarmは、最強のホールトアウト・アソシエーションである$=+0.72$で、制御能力の後に3段階のジェイルブレイクの安全性を示す。
論文 参考訳（メタデータ） (2026-07-30T03:45:10Z) - PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。
14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
論文 参考訳（メタデータ） (2026-07-02T10:59:03Z) - ACCORD: Action-Conditioned Contextual Grounding for Language Agents [69.73525608707764]
ACCORD(Action-Conditioned Contextual Grounding)は、適応的なグラウンドのためのエージェントフレームワークである。
現状のエージェントは、しばしばそうすることができないことを示す。それらは、観察された特定の情報よりもむしろ仮定から行動し、収集した可能性のある情報を見落とし、既に返された証拠を組み込むことに失敗する。
論文 参考訳（メタデータ） (2026-06-15T09:05:55Z) - The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。
評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。
メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
論文 参考訳（メタデータ） (2026-06-03T04:58:17Z) - EvoCode-Bench: Evaluating Coding Agents in Multi-Turn Iterative Interactions [9.297494684604763]
EvoCode-Benchは26のステートフルコーディングタスクと227のラウンドのベンチマークである。
各タスクはエージェントのワークスペースを5～15ラウンド保存し、観測可能な振る舞いを通じて要求を記述する。
MT@4は4段階のフェールストップマルチラウンドスコアであり、SRは参照完了前の状態からのシングルラウンドスコアである。
論文 参考訳（メタデータ） (2026-05-22T18:17:28Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - Agent-ValueBench: A Comprehensive Benchmark for Evaluating Agent Values [17.752804388034583]
Agent-ValueBenchは、エージェント値専用の最初のベンチマークである。
16ドメインにわたる394の実行可能な環境を備え、4,335のバリューコンフリクトタスクを提供する。
エージェント値は、解釈可能な反電流の下で、クロスモデル均質のバリュータイドとして最初に現れる。
論文 参考訳（メタデータ） (2026-05-11T11:09:04Z) - Measuring the Unmeasurable: Markov Chain Reliability for LLM Agents [0.7161783472741748]
エージェントの実行トレースをMarkovチェーンに適合させる再現可能なパイプラインである textscTraceToChain を提示する。
パイプラインは自動クラスタ分類を構築し、Laplace-smoothed maximum-likelihood Estimation (MLE) による遷移を推定し、複合的なAkaike Information criterion (AIC) と Kolmogorov-Smirnov (KS) に適合する。
結果として得られたファーストパスビューは、通常別々に報告されるメトリクスを再構成する: pass$$k$, pass$k$, and the reliability decay curve (RDC) is projections of one。
論文 参考訳（メタデータ） (2026-04-27T15:05:45Z) - Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。
NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-27T11:34:41Z) - TDAD: Test-Driven Agentic Development - Reducing Code Regressions in AI Coding Agents via Graph-Based Impact Analysis [0.0]
TDADはソースコードとテスト間の依存性マップを構築し、パッチをコミットする前に、エージェントはどのテストを検証して自己修正するかを知っている。
本稿では,AI符号化エージェントの事前変更影響分析を行うオープンソースツールであるTDADを提案する。
論文 参考訳（メタデータ） (2026-03-18T17:38:22Z) - Agentic Rubrics as Contextual Verifiers for SWE Agents [8.469998524915818]
本稿では,エージェントルーブリックがSWEエージェントに対して,効率的でスケーラブルで粒度の高い検証信号を提供することを示す。
結果から,Agenic rubricsは接地トルーステストと整合性を示し,テストが捉えない問題をフラグ付けする。
論文 参考訳（メタデータ） (2026-01-07T18:38:23Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。
TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。
We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
論文 参考訳（メタデータ） (2025-10-06T05:03:57Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Agent-Testing Agent: A Meta-Agent for Automated Testing and Evaluation of Conversational AI Agents [2.3429263075112288]
本稿では,静的コード解析,デザイナの尋問,文献マイニング,ペルソナ駆動の対人テスト生成を組み合わせたメタエージェントであるAgent-Testing Agent(ATA)を提案する。
各対話はLLM-as-a-Judge (LAAJ)ルーブリックでスコアされ、その後の試験をエージェントの最も弱い能力に向けて操るために使用される。
論文 参考訳（メタデータ） (2025-08-24T15:02:13Z) - Acting in Delayed Environments with Non-Stationary Markov Policies [57.52103323209643]
本稿では,MDPにおける学習と計画のためのフレームワークについて紹介する。
実行が遅れると、元の状態空間における決定論的マルコフポリシーは最大報酬を得るのに十分であるが、非定常である必要があることを証明します。
我々は、状態拡張に頼らずに遅延実行タスクを解く非定常Q学習スタイルのモデルベースアルゴリズムを考案した。
論文 参考訳（メタデータ） (2021-01-28T13:35:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。