論文の概要: DAYJOB: A Benchmark for Long-Horizon Professional Work
- arxiv url: http://arxiv.org/abs/2610.01306v1
- Date: Thu, 01 Oct 2026 08:39:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.005765
- Title: DAYJOB: A Benchmark for Long-Horizon Professional Work
- Title（参考訳）: DAYJOB: 長距離専門職のベンチマーク
- Abstract要約: DAYJOBは、医療(50)と金融(80)の専門家によって作られた130のタスクのベンチマークである
作業は医療で平均13.6時間、金融で16.6時間かかると見積もられている。
13人の開発者による30以上のモデル構成のうち、最強のClaude Opus 5.5は24.7%のヘルスケアと23.9%のファイナンスの試みをパスしている。
- 参考スコア（独自算出の注目度）: 0.7118597019073513
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Professional work often starts with a brief request that leaves the professional to work out what is needed, which documents matter, and whether the request's premise holds. We introduce DAYJOB, a benchmark of 130 tasks built by professionals in healthcare (50) and finance (80). The tasks are estimated to take a professional 13.6 hours on average in healthcare and 16.6 in finance. Each task is a containerized Harbor environment with an expert rubric of binary criteria (median 47.5 and 57.5 per task) that an agentic judge applies to the delivered files, and an attempt passes only if it meets every criterion. Across 30 model configurations from 13 developers, the strongest, Claude Opus 5.5, passes 24.7% of healthcare and 23.9% of finance attempts, and the median configuration passes 0.6% and 2.5%. In case studies, agents accept premises that the record contradicts and carry wrong inputs through otherwise consistent analyses. We release all healthcare tasks, 50 of the 80 finance tasks, the evaluation harness, and the leaderboard.
- Abstract（参考訳）: プロフェッショナルな作業は、必要なもの、どのドキュメントが重要か、要求の前提が保持するかどうかを専門家が考えるための、短い要求から始まることが多い。
医療(50)と金融(80)の専門家が作成した130のタスクのベンチマークであるDAYJOBを紹介する。
作業は医療で平均13.6時間、金融で16.6時間かかると見積もられている。
各タスクはコンテナ化されたハーバー環境であり、エージェント裁判官が配信されたファイルに適用するバイナリ基準(タスク毎に47.5と57.5)の専門家ルーリックを持ち、試行はすべての基準を満たす場合にのみ通過する。
13人の開発者による30のモデル構成のうち、最強のClaude Opus 5.5は24.7%のヘルスケアと23.9%のファイナンスの試みをパスし、中央値は0.6%と2.5%をパスしている。
ケーススタディでは、エージェントはレコードが矛盾する前提を受け入れ、他の一貫した分析を通じて間違った入力を行う。
私たちは、すべての医療タスク、80の財務タスクのうち50のタスク、評価ハーネス、およびリーダーボードをリリースします。
関連論文リスト
- FinAutoRubric: Expert-Guided Automatic Rubric Generation for Evaluating Financial Research Agents [52.23447452815642]
専門家レビューされた金融ベンチマークは、各機関の基準をコード化できない拡張に費用がかかる固定された、単位単位のルーリックに依存している。
FinAutoRubricでは、専門家が再利用可能な評価ガイダンスを指定し、エージェントとコードはクエリ固有のルーブリック生成、レビュー、バリデーションを実行する。
この専門家のガイダンスは、コードが強制するプロンプトやルールとして、すべてのエージェントを管理します。
論文 参考訳（メタデータ） (2026-09-28T17:55:06Z) - FinFIRST: Benchmarking Search Agents for Financial Information Retrieval, Sourcing and Traceability [19.25372336137726]
FinFIRSTは、答えを共同で評価し、原子の破片を通して証拠を裏付ける最初の金融ベンチマークである。
現実の金融シナリオの集合パターンから構築された、難易度スペクトルにまたがる123の専門家によるタスクで構成されている。
FinFIRSTは、最終回答の正しさを第一の目的として保ちつつ、支援研究プロセスを測定し、検証し、診断可能にする。
論文 参考訳（メタデータ） (2026-09-21T17:28:08Z) - Harbor Adapters and Harbor-Index: Infrastructure and a Curated Meta-Dataset for Large-Scale Agentic Evaluation [141.29138788636013]
任意のエージェントを評価するために80以上のベンチマークを移植するベンチマークアダプタを開発した。
54のベンチマークで,機能レベルにまたがる8モデルの大規模評価を行う。
私たちは29のベンチマークにまたがる82の難易度、多様性、高品質なタスクをキュレートしたHarbor-Indexを紹介します。
論文 参考訳（メタデータ） (2026-09-03T16:26:20Z) - FinProBench: Evaluating Financial AI Agents with Role-Grounded Rubrics Derived from Professional Deliverables [9.305912044747368]
既存のメソッドは通常、タスクプロンプトやモデル出力から基準を導き出す。
本稿では、プロの金融業務のベンチマークであるFinProBenchと、再利用可能なルーリックであるRole-Grounded Construction(RGRC)を紹介する。
論文 参考訳（メタデータ） (2026-08-04T18:00:00Z) - GAUGE: Grading Agent-Built Financial Models Without a Golden Answer [38.72982631250115]
65社をカバーする108組のうち、中央値は0.33、92.6%は0.70以下であり、同じビンテージのペアは10%以内のインプリード価格に合意していない。
同じ企業の独立したアナリストモデルを用いて、65社をカバーする108組のうち、中央値のシングル参照スコアは0.33、92.6%が0.70未満であり、同じビンテージペアが10%以内のインリード価格で一致しないことが判明した。
本稿では,エージェント構築評価モデルを評価するベンチマークであるGAUGEを紹介する。
論文 参考訳（メタデータ） (2026-07-27T13:03:19Z) - IPO Finance Agent: Benchmark of LLM Financial Analysts Beyond Finance Agent v2, with Automated Rubric Generation, on the SpaceX (SPCX) IPO [0.0]
ファイナンスエージェント v2(Vals AI)が金融言語モデルを評価する基準ベンチマークとして登場した。
タスクドメインと検索アーキテクチャの2つの方向に沿ってファイナンスエージェントフレームワークを拡張したIPOファイナンスエージェントを紹介します。
最高の性能評価モデルであるZhipu GLM-5.2は79.8%の精度に達し、その結果得られたフロンティアで最もコスト効率のよいXiaomi MiMo-2.5 Proはクエリあたり0.05 USDでわずかに低い精度(77.2%)に達した。
論文 参考訳（メタデータ） (2026-06-22T08:42:19Z) - JobBench: Aligning Agent Work With Human Will [121.39878639038716]
JobBenchは、専門家がデリゲートの優先度が高いと判断する上で、AIエージェントを評価する。
JobBenchは、35の職業にまたがる130のエージェントタスクをカバーしている。
論文 参考訳（メタデータ） (2026-05-25T21:07:02Z) - CHI-Bench: Can AI Agents Automate End-to-End, Long-Horizon, Policy-Rich Healthcare Workflows? [150.84850629123287]
現実的な医療業務のエンドツーエンドの自動化は、現在のベンチマークで不足している3つの機能を強調します。
$-Benchは3つのドメインにわたる長期医療のベンチマークである。
30以上のエージェントハーネス/モデル構成で、最高のエージェントはタスクの28.0%しか解決せず、厳格なパス3では20%をクリアし、単一のセッションですべてのタスクを実行するとパフォーマンスは3.8%に低下する。
論文 参考訳（メタデータ） (2026-05-15T22:34:31Z) - DocReward: A Document Reward Model for Structuring and Stylizing [107.03974018371058]
DocRewardはドキュメントの構造とスタイルに基づいてドキュメントを評価するドキュメント報酬モデルである。
ブラッドリー・テリーの損失を利用して文書を採点し、注釈付きランキングに矛盾する予測を罰する訓練を受けている。
GPT-5の37.7%の勝利率に比べて60.8%の勝利率を達成した。
論文 参考訳（メタデータ） (2025-10-13T13:36:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。