論文の概要: RubricAtlas: Mining Type-Level Rubrics from Expert Reports to Evaluate Deep Research Agents
- arxiv url: http://arxiv.org/abs/2610.36878v1
- Date: Tue, 27 Oct 2026 09:18:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.552932
- Title: RubricAtlas: Mining Type-Level Rubrics from Expert Reports to Evaluate Deep Research Agents
- Title（参考訳）: RubricAtlas:Deep Research Agentの評価のためのエキスパートレポートから
- Abstract要約: 我々は,異なる対象に関する専門家報告から,同じ研究タイプ内のタイプレベルの分析要求を導入する。
本フレームワークは,バイナリ完全性チェックポイントをレポートパスにリンクし,引数の妥当性を別々に評価する。
- 参考スコア（独自算出の注目度）: 28.175180328057554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep research agents conduct multi-step Web searches and synthesise retrieved information into analytical reports. Evaluating these outputs requires checking which analyses they deliver, beyond the presence of relevant facts. Query-specific binary rubrics make individual requirements explicit, but task-level checklists may leave the overall analytical structure underexamined. We introduce RubricAtlas, which derives type-level analytical requirements from expert reports on different objects within the same research type and organises detailed checks around recurring analytical questions. The requirements give related tasks a shared standard for what to analyse, without prescribing their answers. Our framework links binary checkpoints to report passages and evaluates completeness separately from argument validity. Built from 3,079 Chinese financial research reports, RubricAtlas covers 99 research types. Reference-report selection experiments show that individual reports cover only about half of their type's analytical questions, and that selecting requirements from different reports changes evaluation scores and agent rankings. Across ten agents, two judge pipelines achieve checkpoint agreement of $κ$ = 0.71 and agent-ranking agreement of Kendall $τ$ = 0.87. Controlled deletions reduce scores on the affected analyses, while padding produces no detectable increase. These findings support type-level rubrics for comparing the analytical completeness of Web deep research outputs, with individual decisions traceable to report evidence.
- Abstract（参考訳）: ディープリサーチエージェントは多段階のWeb検索を行い、検索した情報を分析レポートに合成する。
これらのアウトプットを評価するには、関連する事実だけでなく、どの分析結果を提供するかをチェックする必要がある。
クエリ固有のバイナリルーブリックは、個々の要求を明確にするが、タスクレベルのチェックリストは、全体的な分析構造を過小評価する。
本稿では,RubricAtlasについて紹介する。RubricAtlasは,同じ研究タイプ内の異なるオブジェクトに関する専門家レポートから,型レベルの分析要求を導出し,反復的な分析質問に関する詳細なチェックを整理する。
要件は、関連するタスクに対して、回答を規定することなく、分析対象の共通標準を提供する。
本フレームワークは,バイナリチェックポイントをレポートパスにリンクし,引数の妥当性とは別に完全性を評価する。
RubricAtlasは中国の金融調査報告3,079件から成り、99種類の研究をカバーしている。
参照レポート選択実験は、個々のレポートがそれぞれのタイプの分析的質問の約半分をカバーし、異なるレポートからの要求を選択すると評価スコアとエージェントランキングが変化することを示している。
10個のエージェントにまたがって、2つの審査パイプラインは、κ$ = 0.71のチェックポイント合意と、Kendall $τ$ = 0.87のエージェントランク合意を達成する。
制御された削除は影響分析のスコアを減少させ、パディングは検出可能な増加を生じさせない。
これらの知見は,Web 深層研究成果の分析完全性を比較するためのタイプレベルルーブリックをサポートし,証拠を報告可能な個別の判断を導出する。
関連論文リスト
- Learning to Evaluate Before Improving: Automatic Rubric Induction for Automatic Research Agents [16.43230671992556]
AutoSciRubは評価ファーストのフレームワークで、研究実行前にタスク固有の実行ファイルを誘導する。
AutoSciRubは、未特定の命令を原子科学的目標に分解し、関連する文献やタスク可視データに基礎を置いて、特定の、実行可能な、検証可能な基準を合成する。
改訂期間中、ルーブリック誘導検証は未測定の基準を特定し、研究報告の目的の精査を可能にする。
論文 参考訳（メタデータ） (2026-08-31T16:48:51Z) - VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳（メタデータ） (2026-08-18T15:23:06Z) - WANDR: A Benchmark for Wide and Deep Research [33.403235904191874]
WANDRは、研究エージェントのための500の現実的で挑戦的なデータ収集タスクのベンチマークである。
静的なゴールドの回答セットをタスク固有の判断に置き換え、引用されたページを再フェッチし、証拠に対して各レコードを検証する。
我々は6つの生産研究システムを評価し、ベンチマークが飽和していないことを発見した。
論文 参考訳（メタデータ） (2026-08-14T00:18:53Z) - HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。
HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。
報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
論文 参考訳（メタデータ） (2026-07-27T23:50:46Z) - Analytical Search [27.61450958002869]
分析検索は、エビデンスに支配されたプロセス指向の分析ワークフローとして検索を再構築する。
本稿では、クエリ理解、リコール指向検索、推論認識融合、適応検証を統合した統合システムフレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-12T05:06:29Z) - DeepResearchEval: An Automated Framework for Deep Research Task Construction and Agentic Evaluation [56.886936435727854]
DeepResearchEvalは、ディープリサーチタスク構築とエージェント評価のための自動化フレームワークである。
タスク構築のために,多様なユーザプロファイルに固定された現実的で複雑な研究タスクを生成するペルソナ駆動パイプラインを提案する。
評価には,タスク固有の評価次元,基準,重みを動的に導出する適応的ポイントワイド品質評価と,引用が欠落した場合でもWeb検索によるレポート文の自動抽出と検証を行うアクティブ・ファクト・チェッキングの2つの要素からなるエージェントパイプラインを提案する。
論文 参考訳（メタデータ） (2026-01-14T18:38:31Z) - DeepSynth-Eval: Objectively Evaluating Information Consolidation in Deep Survey Writing [53.85037373860246]
本稿では,情報統合能力を客観的に評価するためのベンチマークであるDeep Synth-Evalを紹介する。
一般チェックリスト(実例)と制約チェックリスト(構造体)を用いたきめ細かい評価プロトコルを提案する。
その結果,エージェント型プラン・アンド・ライトは単ターン生成よりも大幅に優れていた。
論文 参考訳（メタデータ） (2026-01-07T03:07:52Z) - OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment [63.662126457336534]
OpenNoveltyは、透明で証拠に基づく新規性分析のためのエージェントシステムである。
回収された実論文のすべての評価を根拠にし、検証可能な判断を確実にする。
OpenNoveltyは、公正で一貫性があり、エビデンスに支えられたピアレビューを促進するスケーラブルなツールで、研究コミュニティに力を与えることを目指している。
論文 参考訳（メタデータ） (2026-01-04T15:48:51Z) - How Far Are We from Genuinely Useful Deep Research Agents? [48.596990593729]
Deep Research Agents (DRA) は、反復的な情報検索と合成によってアナリストレベルのレポートを自動的に生成することを目的としている。
レポート合成の現在のベンチマークは、タスクの複雑さと主観的なメトリクスに悩まされている。
我々は,100個の人為的な研究タスクからなる改良されたベンチマークであるFINDER(FinDER)について述べる。
論文 参考訳（メタデータ） (2025-12-01T17:58:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。