論文の概要: ResearchFlow-Eval: Tracing the Execution Gap in End-to-End Multi-Claim Autoresearch
- arxiv url: http://arxiv.org/abs/2610.18088v1
- Date: Tue, 13 Oct 2026 10:09:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.585275
- Title: ResearchFlow-Eval: Tracing the Execution Gap in End-to-End Multi-Claim Autoresearch
- Title（参考訳）: ResearchFlow-Eval: エンドツーエンドマルチクレーム自動検索における実行ギャップの追跡
- Abstract要約: オートリサーチシステムは、研究プロジェクト全体を実行する傾向にある。
既存の自動検索システムの評価は、通常、独立したタスクや最終成果物をスコアし、これらのプロセスレベルの能力はほとんど測定されていない。
我々は,連続的な科学的な実行とルーブリックをステージレベルとクレームレベルの両方で評価する,詳細なフレームワークであるResearchFlow-Evalを紹介する。
- 参考スコア（独自算出の注目度）: 22.12984727478251
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autoresearch systems increasingly undertake entire research projects. In practice, scientific research requires systems to pursue multiple interdependent claims through a continuous, multi-stage workflow and revise experiments as evidence accumulates. Existing evaluations of autoresearch systems, however, typically score isolated tasks or final artifacts, leaving these process-level capabilities largely unmeasured. We therefore introduce ResearchFlow-Eval, a fine-grained framework for assessing continuous scientific execution and iteration at both the stage and claim levels. Each evaluation is grounded in a published anchor paper, from which we derive stage-specific rubrics that decompose each research stage into dimensions and separately scored rubric items. Using these rubrics, we score each research stage and examine experimental execution in detail, focusing on multi-claim completion and revisions across attempts. We apply the evaluation framework to general-purpose agent harnesses, skill-augmented harnesses, and systems with research-specific orchestration. Across all evaluated systems, experimental execution consistently lags behind design and planning. Within execution, systems struggle to produce high-quality results and meet claim requirements, and repeated attempts rarely yield measurable improvements. Moreover, neither skill augmentation nor research-specific orchestration reliably yields higher scores. ResearchFlow-Eval thus extends autoresearch evaluation beyond isolated, single-objective runs to continuous workflows in which systems pursue multiple claims and refine their work across iterations.
- Abstract（参考訳）: オートリサーチシステムは、研究プロジェクト全体を実行する傾向にある。
実際には、科学的研究は、連続した多段階のワークフローを通じて複数の相互依存的なクレームを追求し、証拠が蓄積するにつれて実験を再考するシステムを必要としている。
しかし、既存の自動検索システムの評価では、通常、独立したタスクや最終成果物をスコアし、これらのプロセスレベルの能力はほとんど測定されていない。
そこで我々はResearchFlow-Evalを紹介した。ResearchFlow-Evalは継続的科学的実行と反復をステージレベルとクレームレベルの両方で評価するためのきめ細かいフレームワークである。
それぞれの評価は, 各研究段階を次元に分解し, 別々に収集した, ステージ固有のルーリックを導出するアンカーペーパーに基礎を置いている。
これらのルーリックを用いて、各研究段階をスコアし、実験的な実行を詳細に検討し、多条件完了と試行間の修正に焦点をあてる。
評価フレームワークを汎用エージェントハーネス、スキル強化ハーネス、研究固有のオーケストレーションシステムに適用する。
評価されたシステム全体において、実験的な実行は設計と計画に遅れをとらない。
実行中、システムは高品質な結果を生成し、クレーム要件を満たすのに苦労する。
さらに、スキル強化や研究固有のオーケストレーションは、より高いスコアを確実に獲得しない。
これにより、ResearchFlow-Evalは、分離された単一オブジェクト実行を越えて、システムが複数のクレームを追求し、イテレーションにわたって作業を洗練する継続的ワークフローに自動検索評価を拡張する。
関連論文リスト
- LongCat-DeepResearch Technical Report [51.471456427725826]
LongCat-DeepResearchは、強化されたLongCatモデルとマルチエージェントワークフローを組み合わせたディープリサーチシステムである。
このワークフローは、世界計画と詳細な調査とセクションレベルでの調整を分離する。
LongCat-DeepResearchはDeepResearchBenchで55.25、DeepResearchBench IIで51.35、ResearchRubricsで79.83を達成している。
論文 参考訳（メタデータ） (2026-09-28T18:22:38Z) - Learning to Evaluate Before Improving: Automatic Rubric Induction for Automatic Research Agents [16.43230671992556]
AutoSciRubは評価ファーストのフレームワークで、研究実行前にタスク固有の実行ファイルを誘導する。
AutoSciRubは、未特定の命令を原子科学的目標に分解し、関連する文献やタスク可視データに基礎を置いて、特定の、実行可能な、検証可能な基準を合成する。
改訂期間中、ルーブリック誘導検証は未測定の基準を特定し、研究報告の目的の精査を可能にする。
論文 参考訳（メタデータ） (2026-08-31T16:48:51Z) - AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。
我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。
障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
論文 参考訳（メタデータ） (2026-05-18T17:08:26Z) - EpiBench: Benchmarking Multi-turn Research Workflows for Multimodal Agents [38.845762856105175]
簡単な研究をインスタンス化するエピソードなマルチターンベンチマークであるEpiBenchを紹介する。
調査タスクが与えられた場合、エージェントは複数のターンで論文をナビゲートし、数字や表から証拠を整理し、メモリに蓄積された証拠を使って客観的な疑問に答えなければならない。
実験の結果,主モデルの精度は29.23%程度であり,改善の余地があることが示唆された。
論文 参考訳（メタデータ） (2026-04-07T07:58:55Z) - MiroEval: Benchmarking Multimodal Deep Research Agents in Process and Outcome [109.15093810810214]
MiroEvalはディープリサーチシステムのベンチマークおよび評価フレームワークである。
ベンチマークは、実際のユーザニーズに基づいて100のタスクで構成されている。
提案した評価スイートは3つの相補的な次元に沿って深層研究システムを評価する。
論文 参考訳（メタデータ） (2026-03-30T13:16:03Z) - Pitfalls in Evaluating Interpretability Agents [91.49742416116635]
我々は,実験を反復的に設計し,仮説を洗練するエージェントシステムを構築した。
我々の研究は、複雑な自動解釈可能性システムを評価する上での根本的な課題を実証している。
論文 参考訳（メタデータ） (2026-03-20T16:27:17Z) - ScholarGym: Benchmarking Deep Research Workflows on Academic Literature Retrieval [11.41528830724814]
本稿では,学術研究の再現性評価のためのシミュレーション環境であるScholarGymを紹介する。
決定論的検索を備えた570K論文の静的コーパス上に構築されたScholarGymは,2,536のクエリと専門家による注釈付き基底真理を提供する。
論文 参考訳（メタデータ） (2026-01-29T12:51:44Z) - Deep Researcher with Sequential Plan Reflection and Candidates Crossover (Deep Researcher Reflect Evolve) [0.0]
本稿では、複雑なPhDレベルのトピックに関する詳細な研究レポートを作成するために設計された、新しいDeep Researcherアーキテクチャを提案する。
本システムでは,リフレクションによる逐次研究計画修正と候補クロスオーバーアルゴリズムという,2つの重要なイノベーションを活用している。
我々の建築は46.21点を達成し、先進的な深層研究エージェントを超越して優れた性能を示した。
論文 参考訳（メタデータ） (2026-01-28T18:45:39Z) - DeepResearchEval: An Automated Framework for Deep Research Task Construction and Agentic Evaluation [56.886936435727854]
DeepResearchEvalは、ディープリサーチタスク構築とエージェント評価のための自動化フレームワークである。
タスク構築のために,多様なユーザプロファイルに固定された現実的で複雑な研究タスクを生成するペルソナ駆動パイプラインを提案する。
評価には,タスク固有の評価次元,基準,重みを動的に導出する適応的ポイントワイド品質評価と,引用が欠落した場合でもWeb検索によるレポート文の自動抽出と検証を行うアクティブ・ファクト・チェッキングの2つの要素からなるエージェントパイプラインを提案する。
論文 参考訳（メタデータ） (2026-01-14T18:38:31Z) - From Task Executors to Research Partners: Evaluating AI Co-Pilots Through Workflow Integration in Biomedical Research [0.16174969956296248]
この素早いレビューでは、前臨床生医学研究におけるAIシステムのベンチマークプラクティスについて検討する。
現在のベンチマークから欠落する4つの重要な次元に対処するプロセス指向評価フレームワークが提案されている。
これらの次元は、独立したタスク実行者としてではなく、研究の共同パイロットとしてAIシステムを評価するために不可欠である。
論文 参考訳（メタデータ） (2025-12-04T14:37:46Z) - SelfAI: Building a Self-Training AI System with LLM Agents [79.10991818561907]
SelfAIは、高レベルの研究目的を標準化された実験構成に変換するためのUser Agentを組み合わせた、一般的なマルチエージェントプラットフォームである。
実験マネージャは、連続的なフィードバックのための構造化知識ベースを維持しながら、異種ハードウェアをまたいだ並列かつフォールトトレラントなトレーニングを編成する。
回帰、コンピュータビジョン、科学計算、医用画像、薬物発見ベンチマークなどを通じて、SelfAIは一貫して高いパフォーマンスを達成し、冗長な試行を減らしている。
論文 参考訳（メタデータ） (2025-11-29T09:18:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。