論文の概要: SciCurateBench: Curating Experimental Data from Heterogeneous Scientific Literature with Verbal-Action Agents
- arxiv url: http://arxiv.org/abs/2610.14393v1
- Date: Fri, 09 Oct 2026 23:32:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 21:49:24.255157
- Title: SciCurateBench: Curating Experimental Data from Heterogeneous Scientific Literature with Verbal-Action Agents
- Title（参考訳）: SciCurateBench: 異種科学文献の試薬による実験データをキュレートする
- Abstract要約: 我々はSciCurateBenchを紹介した。SciCurateBenchは、主要なライフサイエンス雑誌から200の専門家による注釈付き論文のベンチマークである。
一般的なLCMや一般的な推論、ツールの使用、フィードバックベースのエージェントが、このタスクに苦労していることを示します。
本稿では、ポリシーエージェントがアクターエージェントが実行可能なツールに変換する自然言語アクションガイドラインを生成する統合システムであるLangPoliを提案する。
- 参考スコア（独自算出の注目度）: 0.7391823486666543
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Scientific research increasingly depends on curating experimental data from literature. Scientific data curation requires verifying exact experimental conditions (e.g., specific assays, clinical outcomes, and data availability) across long, heterogeneous files, which is a highly time-consuming process. Existing benchmarks evaluate only broad relevance on short queries, failing to capture this complexity. We introduce SciCurateBench, a benchmark of 200 expert-annotated papers from major life-science journals that challenges systems to verify conjunctive biological experimental criteria from raw, unprocessed scientific literature. We show that plain LLMs and popular reasoning, tool-using, and feedback-based agents all struggle with this task. To study what makes the task tractable, we further propose LangPoli, an integrative system in which a policy agent generates natural language action guidelines that actor agents convert into executable tools. LangPoli showed strong performance on both Paper Classification (83.16% F1 vs. 58.22% for its base LLM) and Structured Information Retrieval, and also improves re-ranking on the public benchmarks of LitSearch, BEIR, and TREC. We further explore curriculum transfer, a method that distills generalizable strategies from solved tasks to accelerate the solving of related problems. We hope this work facilitates research in truly practical scientific AI assistance. The anonymized pre-release can be found from https://anonymous.4open. science/r/scicuratebench-D885/.
- Abstract（参考訳）: 科学研究は、文学からの実験データを収集することにますます依存している。
科学的データキュレーションには、正確な実験条件(例えば、特定のアッセイ、臨床結果、データ可用性)を、非常に時間を要する長い異種ファイルにわたって検証する必要がある。
既存のベンチマークでは、短いクエリに対する広い関連性しか評価されておらず、この複雑さを捉えていない。
我々はSciCurateBenchを紹介した。SciCurateBenchは、生の未処理の科学文献から共役的な生物学的実験基準を検証するシステムに挑戦する、主要な生命科学雑誌から200の専門家による注釈付き論文のベンチマークである。
一般的なLCMや一般的な推論、ツールの使用、フィードバックベースのエージェントが、このタスクに苦労していることを示します。
そこで本研究では,政策エージェントが自然言語行動ガイドラインを生成し,アクターエージェントが実行可能なツールに変換する統合システムであるLangPoliを提案する。
LangPoliはPaper Classification (83.16% F1 vs. 58.22%)とStructured Information Retrievalの両方で強力な性能を示し、LitSearch、BEIR、TRECの公開ベンチマークでも性能が向上した。
さらに,解決課題から一般化可能な戦略を抽出し,関連する問題の解法を高速化する手法であるカリキュラム転送について検討する。
この研究が、真に実践的な科学的なAI支援の研究を促進することを願っている。
匿名化されたプレリリースはhttps://anonymous.4openから参照できる。
science/r/scicuratebench-D885/
関連論文リスト
- Research with AI Agents: How Agentic Systems Are Changing Scientific Work [0.3802675998752554]
エージェントAIシステムは、文学検索、データ分析、プログラミングなどのタスクをサブタスクに分離する。
これにより、デジタルリサーチタスクを高速に実行することができる。
論文 参考訳（メタデータ） (2026-09-25T13:01:02Z) - SciExplore: Evaluating Autonomous Agents from Scientific Navigation to Information Integration [46.64739473662869]
LLMとエージェントの科学的情報探索と推論能力を評価するためのベンチマークであるSciExploreを紹介する。
SciExploreは10以上の科学分野にわたる103の専門的なタスクをカバーする4つのタスクタイプで構成されている。
我々はSciExplore上で10以上の最先端のLCMと自律エージェントを評価し、タスクの複雑さが増加し、最も困難な構造化タスクにおいて極めて低い精度で処理性能が著しく低下することを示す。
論文 参考訳（メタデータ） (2026-07-23T05:17:00Z) - Benchmarking AI Agents for Addressing Scientific Challenges Across Scales [118.2204632627895]
SciAgentArenaは、現実世界の科学研究シナリオでAIエージェントを評価するための体系的なベンチマークである。
ステップワイズ検証を備えた約200のタスクと、多様なAIエージェントを評価するためのインタラクティブでエージェントに依存しない環境で構成される。
タスク構造や評価基準が明確である場合, 現状のエージェントはデータ分析に効果的に貢献できることがわかった。
論文 参考訳（メタデータ） (2026-06-10T22:55:30Z) - AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery [55.70879973230979]
AutoResearchBenchは、自律的な科学文献発見のためのベンチマークである。
エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向である。
最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。
論文 参考訳（メタデータ） (2026-04-28T06:05:17Z) - AnalyticsGPT: An LLM Workflow for Scientometric Question Answering [1.5658704610960574]
AnalyticsGPTは、科学的質問応答のための、直感的で効率的な大規模言語モデル(LLM)ベースのワークフローである。
本稿では,直感的で効率的な大規模言語モデル (LLM) を用いた科学的な質問応答のためのワークフローであるAnalyticsGPTを紹介する。
論文 参考訳（メタデータ） (2026-02-10T14:23:55Z) - PaperSearchQA: Learning to Search and Reason over Scientific Papers with RLVR [64.22412492998754]
我々は,1600万件のバイオメディカルペーパーを要約した検索コーパスを公開し,PaperSearchQAと呼ばれるファクトイックなQAデータセットを構築した。
我々は,この環境における検索エージェントを訓練し,非RL検索ベースラインを上回ります。
我々のデータ生成方法はスケーラブルで、他の科学領域にも容易に拡張できます。
論文 参考訳（メタデータ） (2026-01-26T06:46:16Z) - ReplicationBench: Can AI Agents Replicate Astrophysics Research Papers? [29.17900668495058]
本稿では、フロンティアAIエージェントの評価フレームワークであるReplicationBenchを紹介する。
天体物理学の文献から得られた研究論文全体を、エージェントが複製できるかどうかを検査する。
R ReplicationBenchは、論文スケールで専門家が検証した天体物理学の研究タスクの最初のベンチマークを確立している。
論文 参考訳（メタデータ） (2025-10-28T16:21:19Z) - AstaBench: Rigorous Benchmarking of AI Agents with a Scientific Research Suite [75.58737079136942]
本稿では,AstaBenchについて紹介する。AstaBenchは,科学的研究を行うためのエージェント能力の総合的な測定を行うスイートである。
私たちのスイートには、プロダクショングレードの検索ツールを備えた、最初の科学研究環境が付属しています。
22のエージェントクラスで57のエージェントを評価したところ,いくつかの興味深い結果が得られた。
論文 参考訳（メタデータ） (2025-10-24T17:10:26Z) - SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [97.31347312130119]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning)は、トレーニングと評価のための137K命令フォローインスタンスのデータセットで、54のタスクをカバーする。
これらのタスクは、情報抽出、要約、質問応答、クレーム検証、分類の5つの中核的な科学文献理解能力にまたがる。
SciRIFFは、さまざまな科学分野にわたる研究文献から情報を抽出し、合成するための、完全に専門家によって書かれた高品質な命令追跡データセットである。
論文 参考訳（メタデータ） (2024-06-10T21:22:08Z) - PaperQA: Retrieval-Augmented Generative Agent for Scientific Research [41.9628176602676]
本稿では,科学文献に関する質問に回答するためのRAGエージェントPaperQAを紹介する。
PaperQAは、全文の科学論文を通じて情報検索を行い、ソースやパスの関連性を評価し、RAGを使用して回答を提供するエージェントである。
また、文献全体にわたる全文科学論文からの情報の検索と合成を必要とする、より複雑なベンチマークであるLitQAを紹介する。
論文 参考訳（メタデータ） (2023-12-08T18:50:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。