論文の概要: Harbor Adapters and Harbor-Index: Infrastructure and a Curated Meta-Dataset for Large-Scale Agentic Evaluation
- arxiv url: http://arxiv.org/abs/2609.04298v1
- Date: Thu, 03 Sep 2026 16:26:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.770435
- Title: Harbor Adapters and Harbor-Index: Infrastructure and a Curated Meta-Dataset for Large-Scale Agentic Evaluation
- Title（参考訳）: ハーバーアダプタとハーバーインデックス:大規模エージェント評価のための基盤とメタデータセット
- Abstract要約: 任意のエージェントを評価するために80以上のベンチマークを移植するベンチマークアダプタを開発した。
54のベンチマークで,機能レベルにまたがる8モデルの大規模評価を行う。
私たちは29のベンチマークにまたがる82の難易度、多様性、高品質なタスクをキュレートしたHarbor-Indexを紹介します。
- 参考スコア（独自算出の注目度）: 133.5424034560943
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluating agents on the growing number of agentic benchmarks is challenging because they often require complex environments and agent integrations. We introduce Harbor Adapters, a unified evaluation infrastructure for agentic benchmarks. Our work makes three contributions. First, we develop benchmark adapters that port more than 80 benchmarks to evaluate arbitrary agents, and validate them through rigorous code review and parity experiments. Second, we conduct a large-scale evaluation of 8 models spanning capability tiers across 54 benchmarks; every model is run with Terminus-2 and with one of 3 native harnesses. This enables a broader analysis of agent capabilities and failure modes than was previously possible. Third, we introduce Harbor-Index, a curated set of 82 difficult, diverse, and high-quality tasks spanning 29 benchmarks, refined from the adapted suite through difficulty filtering, AI and human audit, and an audit-and-fix loop. Harbor-Index preserves the challenge and breadth of large-scale agentic evaluations while being affordable to run; no evaluated model-harness configuration exceeds 30% pass rate, and the strongest (GPT-5.5 with Codex) reaches 28.0%. We release the adapters, evaluation results, in-depth analysis, and Harbor-Index as open-source artifacts to support more reliable and comprehensive evaluation of language-model agents.
- Abstract（参考訳）: エージェントが増加するエージェントベンチマークを評価することは、複雑な環境やエージェントの統合を必要とすることが多いため、難しい。
エージェントベンチマークのための統一評価基盤であるHarbor Adaptersを紹介する。
私たちの仕事は3つの貢献をする。
まず,80以上のベンチマークを移植して任意のエージェントを評価するベンチマークアダプタを開発し,厳密なコードレビューとパリティ実験により検証する。
第2に、54ベンチマークにまたがる機能レベルにまたがる8モデルの大規模評価を行い、各モデルがTerminus-2で実行され、3つのネイティブハーネスのうちの1つで実行されます。
これにより、これまで不可能だったエージェント機能と障害モードのより広範な分析が可能になる。
第3に、29のベンチマークにまたがる82の難易度、多様性、高品質なタスクのキュレートされたセットであるHarbor-Indexを紹介します。
評価されたモデルハーネス構成が30%を超えることはなく、最強(GPT-5.5 with Codex)は28.0%に達する。
我々は,言語モデルエージェントの信頼性と総合的な評価を支援するオープンソースアーティファクトとして,アダプタ,評価結果,詳細な分析,Harbor-Indexをリリースする。
関連論文リスト
- SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。
SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。
本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
論文 参考訳（メタデータ） (2026-08-05T09:09:00Z) - AgentOmnia: Scaling Agentic Models for Full-Scenario Applications [36.656762500581216]
大規模言語モデルエージェントは急速に進歩しているが、ドメイン、機能、タスクの難しさ、インタラクション設定にはまだ進歩が断片化されている。
これはTo-Consumer(ToC)、To-Business(ToB)、To-Employee(ToE)アプリケーション間でタスク空間の定義、データ合成、ポストトレーニング、評価、改善を調整するフレームワークです。
論文 参考訳（メタデータ） (2026-07-25T09:58:24Z) - Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。
この問題は、事前評価が結果駆動である変換において特に深刻である。
ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。
このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
論文 参考訳（メタデータ） (2026-05-27T19:57:15Z) - Evaluating Deep Research Agents on Expert Consulting Work: A Benchmark with Verifiers, Rubrics, and Cognitive Traps [0.0]
Frontier Deep Research Agent(DRA)は、研究タスクを計画し、文書を合成し、必要に応じて構造化された成果を返却する。
既存のベンチマークは、ファクトリコール、シングルホップQA、ジェネリックエージェントスキルを計測する。
私たちは、Web検索を備えたClaude Opus 4.6、OpenAI o3-deep-research、Google Gemini 3.1 Proの3つのフロンティアエージェントを、42の中小企業のプロンプトで評価しています。
論文 参考訳（メタデータ） (2026-05-17T17:32:52Z) - SWE Atlas: Benchmarking Coding Agents Beyond Issue Resolution [16.25554650122462]
SWE Atlasは、Codebase Q&A(124タスク)、テストライティング(90タスク)、リファクタリング(70タスク)という、3つのプロフェッショナルソフトウェアエンジニアリングにまたがるコーディングエージェントのためのベンチマークスイートである。
あまり表現されていないが事実上重要なカテゴリをターゲットとし、包括的なカテゴリ固有の評価プロトコルを使用し、未指定のルーリックを採用する。
全体として、SWE Atlasは、コーディングエージェントの正確性とエンジニアリング品質の両方を測定するための補完的な評価スイートを提供する。
論文 参考訳（メタデータ） (2026-05-08T18:21:44Z) - Efficient Benchmarking of AI Agents [0.0]
小型タスクサブセットがエージェントランキングを極めて低コストで維持できるかどうかを検討する。
絶対スコア予測は足場駆動の分布シフトで低下することがわかった。
本稿では,中間的履歴パス率を持つタスクに対してのみ,新しいエージェントを評価できる最適化フリープロトコルを提案する。
論文 参考訳（メタデータ） (2026-03-24T22:17:11Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Establishing Best Practices for Building Rigorous Agentic Benchmarks [94.69724201080155]
多くのエージェントベンチマークがタスク設定や報酬設計に問題があることを示す。
このような問題は、エージェントのパフォーマンスを最大100%相対的に過小評価することにつながる可能性がある。
我々はベンチマーク構築経験から要約したガイドラインの集合であるAgentic Benchmark Checklist (ABC)を紹介した。
論文 参考訳（メタデータ） (2025-07-03T17:35:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。