論文の概要: AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks

• arxiv url: http://arxiv.org/abs/2610.11050v1
• Date: Thu, 08 Oct 2026 01:03:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.71839
• Title: AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks
• Title（参考訳）: AgentHorizon: ロングホライズンコンピュータ利用タスクにおけるエージェントジャッジの評価
• Abstract要約: AgentHorizonは、1,373のコンピュータ利用タスクのベンチマークである。 同様の(しかし互換性のない)要求を完了したのと、成功した軌道を区別する能力について、審査員を評価した。 我々の最高のエージェント・ジャッジであるGPT-5.5は、AHサブセット上で80.9%のバランスの取れた精度を達成する。
• 参考スコア（独自算出の注目度）: 67.28108897589799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computer-use agents are capable of completing complex tasks, increasing the use of automatic judges to determine success, either for training or for evaluation without human involvement. Despite their flexibility, their reliability on long tasks spanning multiple applications remains unclear. A trajectory, composed of long sequences of screenshots and actions, may appear complete, but in reality violates constraints from the instruction or introduces an unwanted side effect. To identify these errors, a judge needs to examine the trajectory with respect to the user's instruction. To this end, we introduce AgentHorizon, a benchmark of 1,373 computer-use tasks (instruction-trajectory pairs) drawn from 166 hours of human-recorded trajectories spanning three operating systems. By recording trajectories for closely related instructions, we can construct negative tasks by swapping the instructions. This paired design evaluates judges on their ability to distinguish a successful trajectory from one that completed a similar (but incompatible) request. We release the benchmark under three splits: a frontier split, AgentHorizon (AH), a simplified split, AgentHorizon-Simple (AH-S), and a development split, AgentHorizon-Development (AH-D). We further evaluate eleven judges by (1) directly passing the full trajectory (with up to 300 screenshots and actions), and (2) using them as coding agents across five agent harnesses. We find that our best agentic judge, GPT-5.5, achieves 80.9% balanced accuracy on the AH subset. We find that tool-use improves certain models but results in worse performance for open-weight models, and that judges differ drastically in their ability to accept a valid trajectory and reject failed ones. Our findings highlight the need for judges that are capable of locating and verifying often hidden evidence that a task was properly completed inside long interaction histories.
• Abstract（参考訳）: コンピュータ利用エージェントは複雑なタスクを完了し、トレーニングや人間の関与なしに評価を行うために自動判断器の使用を増やすことができる。 柔軟性にもかかわらず、複数のアプリケーションにまたがる長いタスクに対する信頼性はまだ不明だ。 スクリーンショットとアクションの長いシーケンスで構成された軌道は、完全なように見えるかもしれないが、実際には命令からの制約に違反したり、望ましくない副作用を導入する。 これらの誤りを識別するためには、裁判官はユーザの指示に関する軌跡を調べる必要がある。 この目的のために,3つのオペレーティングシステムにまたがる166時間の人間記録軌道から抽出した1,373のコンピュータ利用タスク(インストラクション・トラジェクトリ・ペア)のベンチマークであるAgentHorizonを紹介した。 密接に関連する命令のトラジェクトリを記録することで、命令をスワップすることで負のタスクを構築することができる。 このペア設計は、同様の(しかし互換性のない)要求を完了したものと、成功した軌道を区別する能力について、裁判官を評価する。 ベンチマークは、フロンティアスプリット、AgentHorizon(AH)、簡易スプリット、AgentHorizon-Simple(AH-S)、開発スプリット、AgentHorizon-Development(AH-D)の3つに分類される。 さらに,(1)全軌道(300枚までのスクリーンショットとアクションを含む)を直接通過し,(2)5つのエージェントハーネスにまたがる符号化エージェントとして用いることにより,11人の審査員を評価した。 我々の最高のエージェント・ジャッジであるGPT-5.5は、AHサブセット上で80.9%のバランスの取れた精度を達成する。 ツールの使用は特定のモデルを改善するが、結果としてオープンウェイトモデルの性能は悪化し、審査員は有効な軌道を受理し、失敗したモデルを拒否する能力が大幅に異なることがわかった。 この結果から,長時間の相互作用履歴の中でタスクが適切に完了したという,しばしば隠された証拠を発見・検証できる裁判官の必要性が浮き彫りになった。

関連論文リスト

• DENSE: Distilling Agent Trajectories into Evidence-Grounded Shortcut Trees for Self-Refinement [28.796799881538274]
  DENSEは、軌道由来の証拠をネストしたショートカットツリーに整理する。 ノイズの多い実行トレースを構造化された再利用可能なタスク解決フィードバックに変換する。 ターミナル・ベンチ2.1の4つのエージェントモデルの中で最も厳格なパスレートを達成している。
  論文  参考訳（メタデータ） (2026-09-18T07:36:21Z)
• Grounded Checklist Partial Credit for Agent Skill Trajectories [5.028537745773042]
  グラウンドドチェックリスト部分クレジット(GCPC)は、エージェント軌跡の人為的な部分クレジット評価である。 12のタスクから96のトラジェクトリに対する人間の評価は、G CPCが人間の進捗評価とより密接に一致していることを示している。 パイプラインはターミナルベンチやSWEベンチにも移行し、スキル条件による評価を超えた適用性を示す。
  論文  参考訳（メタデータ） (2026-08-26T06:17:19Z)
• ClawProBench: Trace-Aware Evaluation of AI Agents with Runtime Coverage and Frozen Workplace-Style Holdouts [0.0]
  エージェントベンチマークは、エージェントがステートフルランタイム上で実行されている場合でも、最終回答のみを評価することが多い。 OpenClaw上でインスタンス化されたランタイムネイティブエージェント評価のためのトレース対応ベンチマークであるClawProBenchを提案する。
  論文  参考訳（メタデータ） (2026-08-23T17:09:02Z)
• OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models [87.08963239083614]
  コンピュータ利用エージェント(CUA)はデジタル世界で急速に進歩している。 この分野は、CUA軌道の審査員として、視覚言語モデル(VLM)に変わりつつある。 我々は,CUA軌道上のVLM判定値を評価する,現実的で高品質なベンチマークOSRewardを紹介する。
  論文  参考訳（メタデータ） (2026-07-30T17:57:41Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• Beyond Attack-Success Rate: Action-Graded Severity Scale for Tool-Using AI Agents [0.0]
  エージェントのレッドチームベンチマークは、インジェクトされたエージェントが単一ビットとして侵入されたかどうかを報告している。 このバイナリ・アタック・サクセス・レートは、ディフェンダーが最も必要とする情報、すなわち、結果として生じるアクションがどれほど有害であるかを破棄する。 本研究では,7段階の順序尺度(L0〜L6)でエージェントのツールコール軌跡をスコアし,実行された動作が可逆性であったか,他者への到達範囲を超えたか,特権を拡大したかに応じて,アクショングレード調和ルーリックを導入する。
  論文  参考訳（メタデータ） (2026-07-08T14:38:01Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
  テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。 4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。 一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
  論文  参考訳（メタデータ） (2025-08-05T12:52:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。