論文の概要: Agent psychometrics: Task-level performance prediction in agentic coding benchmarks
- arxiv url: http://arxiv.org/abs/2604.00594v1
- Date: Wed, 01 Apr 2026 07:59:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-02 16:44:31.894179
- Title: Agent psychometrics: Task-level performance prediction in agentic coding benchmarks
- Title（参考訳）: エージェント・サイコメトリックス:エージェント・コーディング・ベンチマークにおけるタスクレベルのパフォーマンス予測
- Authors: Chris Ge, Daria Kryvosheieva, Daniel Fried, Uzay Girit, Kaivalya Hariharan,
- Abstract要約: 本稿では,エージェントプログラミング体制に合わせて,個々のタスクにおける成功や失敗を予測する枠組みを提案する。
我々のアプローチは、イシューステートメント、リポジトリコンテキスト、ソリューション、テストケースなど、タスクから抽出された豊富な機能を備えたアイテム応答理論(IRT)を拡張します。
- 参考スコア（独自算出の注目度）: 24.348135523715815
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As the focus in LLM-based coding shifts from static single-step code generation to multi-step agentic interaction with tools and environments, understanding which tasks will challenge agents and why becomes increasingly difficult. This is compounded by current practice: agent performance is typically measured by aggregate pass rates on benchmarks, but single-number metrics obscure the diversity of tasks within a benchmark. We present a framework for predicting success or failure on individual tasks tailored to the agentic coding regime. Our approach augments Item Response Theory (IRT) with rich features extracted from tasks, including issue statements, repository contexts, solutions, and test cases, and introduces a novel decomposition of agent ability into LLM and scaffold ability components. This parameterization enables us to aggregate evaluation data across heterogeneous leaderboards and accurately predict task-level performance for unseen benchmarks, as well as unseen LLM-scaffold combinations. Our methods have practical utility for benchmark designers, who can better calibrate the difficulty of their new tasks without running computationally expensive agent evaluations.
- Abstract（参考訳）: LLMベースのコーディングは、静的な単一ステップのコード生成から、ツールや環境とのマルチステップのエージェントインタラクションへとシフトする。
エージェントのパフォーマンスは通常、ベンチマークの集合パスレートによって測定されますが、シングルナンバーのメトリクスは、ベンチマーク内のタスクの多様性を曖昧にします。
本稿では,エージェントプログラミング体制に合わせて,個々のタスクにおける成功や失敗を予測する枠組みを提案する。
提案手法は,課題ステートメントやリポジトリコンテキスト,ソリューション,テストケースなどのタスクから抽出した豊富な機能を備えた項目応答理論(IRT)を拡張し,エージェント能力のLLMおよび足場能力コンポーネントへの新たな分解を導入する。
このパラメータ化により、不均一なリーダーボードにまたがる評価データを集約し、未確認のベンチマークのタスクレベルの性能を正確に予測し、LCM-スキャフォールドの組み合わせを予測できる。
提案手法は,計算コストのかかるエージェント評価を行わずに,新しいタスクの難易度を精度よく調整できる,ベンチマーク設計者のための実用性を備えている。
関連論文リスト
- PACIFIC: a framework for generating benchmarks to check Precise Automatically Checked Instruction Following In Code [1.1164117387254457]
大言語モデル(LLM)ベースのコードアシスタントは、生成AIの強力な応用として登場した。
これらのシステムの主な要件は、ユーザの指示を正確に従う能力である。
PACIFICは,逐次命令追従機能とコードドライラン機能とを厳格に評価するベンチマークを自動的に生成する新しいフレームワークである。
論文 参考訳（メタデータ） (2025-12-11T14:49:56Z) - Benchmarking LLM-based Agents for Single-cell Omics Analysis [6.915378212190715]
AIエージェントは、適応的な計画、実行可能なコード生成、トレース可能な決定、リアルタイム知識融合を可能にする、パラダイムシフトを提供する。
本稿では,シングルセルオミクス解析におけるエージェント能力の厳格な評価を行うためのベンチマーク評価システムを提案する。
論文 参考訳（メタデータ） (2025-08-16T04:26:18Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳（メタデータ） (2025-08-05T12:52:09Z) - IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。
エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。
最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
論文 参考訳（メタデータ） (2025-05-23T09:37:52Z) - TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。
具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。
提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
論文 参考訳（メタデータ） (2023-11-30T18:02:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。