論文の概要: ARAC: Benchmarking Auto-Research's Alignment and Completeness on End-to-End Researchs
- arxiv url: http://arxiv.org/abs/2608.12788v1
- Date: Thu, 13 Aug 2026 03:48:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.391735
- Title: ARAC: Benchmarking Auto-Research's Alignment and Completeness on End-to-End Researchs
- Title（参考訳）: ARAC: エンドツーエンド研究におけるオートリサーチのアライメントと完全性のベンチマーク
- Abstract要約: ARAC-BenchはResearcher-Mimicking Evaluationフレームワークである。
最終回答の一致から、高品質な人間の研究プロセスの再現へと目標をシフトする。
ARAC-Benchは、微細な診断ツールだけでなく、スケーラブルな報酬信号も提供する。
- 参考スコア（独自算出の注目度）: 16.098240211046548
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid advancement of Auto-Research has surfaced a fundamental evaluation challenge: how can we measure the alignment, logical coherence, and evolutionary completeness of its research trajectory with human research behavior? We propose Auto-Research's Alignment and Completeness, ARAC-Bench: a Researcher-Mimicking Evaluation framework that shifts the objective from matching final answers to reproducing high-quality human research processes. The framework operates through two synergistic components: the Academic Cognition Skills system, which is the first to transforms implicit reviewer expertise into stage-calibrated, quantifiable rubrics; and a three-stage capability diagnostic protocol, which decomposes the research process under strict modular constraints into three traceable, mutually independent dimensions: Proposal, Experiment, and Synthesis. Systematic evaluation of 11 SOTA frameworks yields a best alignment score of only 67.9 of 100, revealing a significant gap in simulating rigorous human methodology. Validation against Ph.D. Candidates rankings shows a strong correlation of 0.8141, confirming that ARAC-Bench reliably reflects the dimensions researchers truly value. ARAC-Bench provides not only a fine-grained diagnostic tool but also a scalable reward signal for training the next generation of autonomous research systems.
- Abstract（参考訳）: オートリサーチの急速な進歩は、人間の研究行動との整合性、論理的コヒーレンス、進化的完全性をどのように測定できるかという、基本的な評価課題を表面化した。
本稿では,最終回答の一致から高品質な人間の研究プロセスの再現へと目標をシフトさせる,ARAC-Bench(Auto-Research's Alignment and Completeness, ARAC-Bench)を提案する。
Academic Cognition Skills systemは、暗黙的なレビュアーの専門知識を段階的校正、定量化可能なルーリックに変換する最初のシステムであり、厳密なモジュラ制約の下で研究プロセスを3つのトレース可能な、相互に独立した次元に分解する3段階の能力診断プロトコルである。
11のSOTAフレームワークの体系的評価により、100の67.9のアライメントスコアが最高のものとなり、厳密な人間の方法論をシミュレートする際の大きなギャップが明らかとなった。
Ph.D.に対する検証
候補ランキングは0.8141と強い相関を示し、ARAC-Benchが研究者の真の価値を確実に反映していることを確認した。
ARAC-Benchは、微細な診断ツールだけでなく、次世代の自律的な研究システムを訓練するためのスケーラブルな報酬信号も提供する。
関連論文リスト
- Learning to Evaluate Before Improving: Automatic Rubric Induction for Automatic Research Agents [16.43230671992556]
AutoSciRubは評価ファーストのフレームワークで、研究実行前にタスク固有の実行ファイルを誘導する。
AutoSciRubは、未特定の命令を原子科学的目標に分解し、関連する文献やタスク可視データに基礎を置いて、特定の、実行可能な、検証可能な基準を合成する。
改訂期間中、ルーブリック誘導検証は未測定の基準を特定し、研究報告の目的の精査を可能にする。
論文 参考訳（メタデータ） (2026-08-31T16:48:51Z) - AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery [55.70879973230979]
AutoResearchBenchは、自律的な科学文献発見のためのベンチマークである。
エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向である。
最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。
論文 参考訳（メタデータ） (2026-04-28T06:05:17Z) - COMPOSITE-Stem [32.17652486099204]
COMPOSITE-STEMは、物理学、生物学、化学、数学における70の専門的なタスクのベンチマークである。
我々のベンチマークでは、正確なマッチンググレーティングとクレーターベースのルーリックとアズ・ア・ジャイグリーグレーディングプロトコルを組み合わせる。
トップパフォーマンスモデルは21%を実現し、ComposITE-STEMが現在のエージェントリーチを超える能力をキャプチャすることを示した。
論文 参考訳（メタデータ） (2026-04-10T19:08:50Z) - Are we still able to recognize pearls? Machine-driven peer review and the risk to creativity: An explainable RAG-XAI detection framework with markers extraction [7.723181091241251]
本稿では、レビュー品質を評価し、自動パターンを検出するための説明可能なフレームワーク(RAG-XAI)を提案する。
XGBoost、Random Forest、LightGBMは99.61%、AUC-ROCは0.999以上、F1スコアは0.9925である。
論文 参考訳（メタデータ） (2026-04-09T08:25:49Z) - Eligibility-Aware Evidence Synthesis: An Agentic Framework for Clinical Trial Meta-Analysis [49.83108591873481]
EligMetaはエージェントフレームワークで、自動トライアル発見と、資格を意識したメタ分析を統合する。
フレームワークは、目標トライアル間の人口アライメントを反映した類似性に基づく研究重量を計算し、適性基準を構造化する。
論文 参考訳（メタデータ） (2026-04-03T03:18:50Z) - MiroEval: Benchmarking Multimodal Deep Research Agents in Process and Outcome [109.15093810810214]
MiroEvalはディープリサーチシステムのベンチマークおよび評価フレームワークである。
ベンチマークは、実際のユーザニーズに基づいて100のタスクで構成されている。
提案した評価スイートは3つの相補的な次元に沿って深層研究システムを評価する。
論文 参考訳（メタデータ） (2026-03-30T13:16:03Z) - The Story is Not the Science: Execution-Grounded Evaluation of Mechanistic Interpretability Research [56.80927148740585]
我々は、動的に進化し、研究評価者としてAIエージェントを開発することで、スケーラビリティと厳密さの課題に対処する。
我々は,機械的解釈可能性の研究をテストベッドとして使用し,標準化された研究成果を構築し,MechEvalAgentを開発した。
我々の研究は、AIエージェントが研究評価を変革し、厳格な科学的実践の道を開く可能性を実証している。
論文 参考訳（メタデータ） (2026-02-05T19:00:02Z) - FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights [63.32178443510396]
FIRE-Bench (Full-cycle Insight Rediscovery Evaluation) は、確立された発見の再検討を通じてエージェントを評価するベンチマークである。
最強のエージェントでさえ、限られた再発見成功(50 F1)を達成し、実行中に高いばらつきを示し、実験的な設計、実行、エビデンスに基づく推論において繰り返し失敗モードを表示する。
論文 参考訳（メタデータ） (2026-02-02T23:21:13Z) - From Task Executors to Research Partners: Evaluating AI Co-Pilots Through Workflow Integration in Biomedical Research [0.16174969956296248]
この素早いレビューでは、前臨床生医学研究におけるAIシステムのベンチマークプラクティスについて検討する。
現在のベンチマークから欠落する4つの重要な次元に対処するプロセス指向評価フレームワークが提案されている。
これらの次元は、独立したタスク実行者としてではなく、研究の共同パイロットとしてAIシステムを評価するために不可欠である。
論文 参考訳（メタデータ） (2025-12-04T14:37:46Z) - Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。
本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。
このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
論文 参考訳（メタデータ） (2025-03-06T18:35:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。