論文の概要: ARE-bench: Benchmarking Agents' Research Ability in Real-World Researcher Sessions and Workspaces
- arxiv url: http://arxiv.org/abs/2611.14364v1
- Date: Tue, 10 Nov 2026 17:21:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.909901
- Title: ARE-bench: Benchmarking Agents' Research Ability in Real-World Researcher Sessions and Workspaces
- Title(参考訳): ARE-bench:実世界の研究者セッションとワークスペースにおけるベンチマークエージェントの研究能力
- Abstract要約: 調査員はますます強力なベンチマークスコアを達成しているが、これらのスコアは進行中の研究プロジェクトにおける信頼性の高いデリバリには変換されない。
我々は、先行決定や既存のワークスペース状態に配慮しながら、研究員が進行中のプロジェクトを進めるかどうかを評価するために、AREベンチを導入する。
ARE-benchには、エージェントセッションと、採用済みの研究者自身のプロジェクトからのフルワークスペース上に構築された75のタスクが含まれており、7つの研究段階、33の要件、150のサブ要件にまたがっており、合計で1,173のバイナリチェックリストアイテムがある。
- 参考スコア(独自算出の注目度): 65.24737149787275
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Research agents achieve increasingly strong benchmark scores, yet these scores do not necessarily translate into reliable delivery in ongoing research projects. Many research-agent benchmarks emphasize standalone tasks and relatively self-contained workflows in clean or curated workspaces. However, researchers ask agents to complete one step within an ongoing project, where requests depend on earlier session decisions and workspaces contain unfinished files, outdated versions, and failed attempts. We introduce ARE-bench to evaluate whether research agents advance ongoing projects while respecting prior decisions and existing workspace state, grounded in real session context and in-progress workspaces. ARE-bench includes 75 tasks built on agent sessions and full workspaces from recruited researchers' own projects, spanning seven research stages, 33 requirements, and 150 sub-requirements, with 1,173 binary checklist items in total. Each task is anchored at a real user request, preserves its requirements, and summarizes the earlier requests still in effect as background. The complete workspace is replayed to that boundary without cleanup, preserving artifacts from earlier turns. Each checklist is compiled from an intent-aligned rubric and credits any valid solution. Across seven frontier models, the strongest passes every checklist item on only 66.2% of tasks, and Design and Execution rank among the hardest stages for every model. Three models pass about 69% of tasks when only delivery contracts and general norms are checked, but just 28.4% to 40.0% once historical and material or workspace requirements are also checked. Evaluating delivery without these contextual requirements can therefore overestimate research agents and mask differences between them.
- Abstract(参考訳): 調査員はますます強力なベンチマークスコアを達成しているが、これらのスコアは、現在進行中の研究プロジェクトにおける信頼性の高いデリバリに必ずしも変換されない。
多くのリサーチエージェントベンチマークは、クリーンまたはキュレートされたワークスペースにおけるスタンドアロンのタスクと比較的自己完結したワークフローを強調している。
しかし、研究者は、進行中のプロジェクトにおいて、リクエストが以前のセッション決定に依存し、ワークスペースには未完成のファイル、古いバージョン、失敗した試行が含まれているため、エージェントに1ステップの完了を要請する。
ARE-benchを導入し、研究員が進行中のプロジェクトを進行するかどうかを、実際のセッションコンテキストと進行中のワークスペースに基づいて、事前決定と既存のワークスペース状態に配慮しながら評価する。
ARE-benchには、エージェントセッションと、採用済みの研究者自身のプロジェクトからのフルワークスペース上に構築された75のタスクが含まれており、7つの研究段階、33の要件、150のサブ要件にまたがっており、合計で1,173のバイナリチェックリストアイテムがある。
各タスクは、実際のユーザリクエストに固定され、その要求を保存し、まだ有効である前の要求をバックグラウンドとして要約する。
完全なワークスペースは、以前のターンからのアーティファクトを保存することなく、そのバウンダリに再生される。
各チェックリストは意図に沿ったルーリックからコンパイルされ、有効なソリューションをクレジットする。
7つのフロンティアモデル全体で、最強は66.2%のタスクで全てのチェックリストアイテムをパスし、デザインと実行は各モデルにとって最も難しいステージの中でランク付けされる。
3つのモデルは、納品契約と一般的な基準のみをチェックした場合に約69%のタスクをパスするが、履歴や資料、ワークスペースの要求がチェックされると、28.4%から40.0%に留まる。
したがって、これらの文脈的要求なしにデリバリーを評価することは、研究エージェントを過大評価し、それらの違いを隠蔽することができる。
関連論文リスト
- Are Frontier VLM Agents Ready to Be Robot Generalists? An Empirical Study with the Embodied Agent Arena [52.33857619195848]
本研究では,空洞型エージェントArenaを導入し,幾何学,空間推論,アフォーダンス,タスクプランニング,マニピュレーションにまたがる7つのVLMエージェントを評価する。
精度推定におけるアストラの強みと使用可能な接触局所化は、トレースにおける終端誤差と低い家庭用タスク完了において共存する。
論文 参考訳(メタデータ) (2026-10-01T00:14:50Z) - DeployBench: Benchmarking LLM Agents for Research Artifact Deployment [21.93024846646044]
LLMエージェントは、ソフトウェア工学とML研究のタスクを急速に進歩させてきたが、これらの進歩は、しばしば動作可能な実行可能な環境へのアクセスを前提としている。
既存の環境設定ベンチマークは、研究成果物の配置の全範囲をカバーしていない。
我々は、AI/ML、コンピュータシステム、科学計算にまたがる51の研究成果デプロイメントタスクのベンチマークであるDeployBenchを紹介する。
論文 参考訳(メタデータ) (2026-06-03T04:59:34Z) - Workspace-Bench 1.0: Benchmarking AI Agents on Workspace Tasks with Large-Scale File Dependencies [29.138677906501865]
大規模なファイル依存を伴うワークスペース学習におけるAIエージェントの評価のためのベンチマークであるWorkspace-Benchを紹介する。
5つのワーカープロファイル、74のファイルタイプ、20,476のファイル(最大20GB)を持つ現実的なワークスペースを構築し、それぞれが7,399の合計ルーリックに対して評価された独自のファイル依存グラフを持つ388のタスクをキュレートする。
論文 参考訳(メタデータ) (2026-05-05T10:17:06Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳(メタデータ) (2026-04-30T17:23:19Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳(メタデータ) (2026-01-17T01:29:30Z) - SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。
本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。
我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
論文 参考訳(メタデータ) (2024-09-11T17:37:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。