論文の概要: SciExplore: Evaluating Autonomous Agents from Scientific Navigation to Information Integration
- arxiv url: http://arxiv.org/abs/2607.20926v1
- Date: Thu, 23 Jul 2026 05:17:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.293555
- Title: SciExplore: Evaluating Autonomous Agents from Scientific Navigation to Information Integration
- Title（参考訳）: SciExplore: 科学ナビゲーションから情報統合への自律エージェントの評価
- Abstract要約: LLMとエージェントの科学的情報探索と推論能力を評価するためのベンチマークであるSciExploreを紹介する。
SciExploreは10以上の科学分野にわたる103の専門的なタスクをカバーする4つのタスクタイプで構成されている。
我々はSciExplore上で10以上の最先端のLCMと自律エージェントを評価し、タスクの複雑さが増加し、最も困難な構造化タスクにおいて極めて低い精度で処理性能が著しく低下することを示す。
- 参考スコア（独自算出の注目度）: 46.64739473662869
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scientific research involves complex information-seeking and reasoning workflows across heterogeneous sources. However, existing benchmarks primarily emphasize general-domain retrieval or static scientific question answering, and therefore fail to assess key capabilities required in realistic scientific research workflows. We introduce SciExplore, a benchmark designed to evaluate scientific information-seeking and reasoning capabilities of LLMs and agents. SciExplore comprises four task types covering 103 expert-curated tasks across more than ten scientific disciplines: scientific database navigation, ambiguous literature retrieval, missing reference completion, and cross-source structured knowledge synthesis, which probe progressively higher-level abilities from entity-level reasoning and document-level identification to evidence-level grounding and domain-level synthesis. We evaluate over ten state-of-the-art LLMs and autonomous agents on SciExplore, revealing substantial performance gaps with performance degrading sharply as task complexity increases and extremely low accuracy on the most challenging structured synthesis tasks. These results highlight significant limitations of current models and agents in realistic scientific information-seeking scenarios.
- Abstract（参考訳）: 科学的研究には複雑な情報探索と異種源間の推論のワークフローが含まれる。
しかし、既存のベンチマークは主に一般領域検索や静的科学的質問応答に重点を置いているため、現実的な科学的研究ワークフローに必要な重要な能力を評価することができない。
LLMとエージェントの科学的情報探索と推論能力を評価するためのベンチマークであるSciExploreを紹介する。
SciExploreは、科学的データベースナビゲーション、曖昧な文献検索、参照完了の欠如、クロスソースな構造化された知識合成の4つのタスクタイプで構成されており、エンティティレベルの推論や文書レベルの識別からエビデンスレベルの基盤化やドメインレベルの合成まで、徐々に高レベルな能力を調査している。
我々は、SciExplore上で10以上の最先端のLCMと自律エージェントを評価し、タスクの複雑さが増加し、最も困難な構成の合成タスクにおいて極めて低い精度で、性能が著しく低下することを示す。
これらの結果は、現実的な科学的情報探索シナリオにおける現在のモデルとエージェントの重大な限界を浮き彫りにしている。
関連論文リスト
- Benchmarking AI Agents for Addressing Scientific Challenges Across Scales [118.2204632627895]
SciAgentArenaは、現実世界の科学研究シナリオでAIエージェントを評価するための体系的なベンチマークである。
ステップワイズ検証を備えた約200のタスクと、多様なAIエージェントを評価するためのインタラクティブでエージェントに依存しない環境で構成される。
タスク構造や評価基準が明確である場合, 現状のエージェントはデータ分析に効果的に貢献できることがわかった。
論文 参考訳（メタデータ） (2026-06-10T22:55:30Z) - From Text to Discovery: How Large Language Models Are Accelerating and Complicating Research Across Scientific and Humanistic Disciplines [4.953914351662556]
大規模言語モデル(LLM)は、自然科学、社会科学、人文科学にまたがる学術研究を急速に変えつつある。
本稿では,科学的研究への責任ある統合の課題について概説する。
研究者の自律性の侵食、AIによる確認バイアス、著者の曖昧さ、これらの技術への不平等なアクセスなど、未調査の10の課題を特定します。
論文 参考訳（メタデータ） (2026-06-07T16:38:27Z) - Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows [203.3527268311731]
PIM(Practical Inquiry Model)に基づく運用SGI定義を提案する。
深層研究、アイデア生成、ドライ/ウェット実験、実験推論の4つのタスクを通じて運用しています。
私たちのPIMによる定義、ワークフロー中心のベンチマーク、実証的な洞察は、真に科学的な発見に参加するAIシステムの基盤を確立します。
論文 参考訳（メタデータ） (2025-12-18T12:44:36Z) - A Survey of Scientific Large Language Models: From Data Foundations to Agent Frontiers [251.23085679210206]
科学大規模言語モデル(Sci-LLMs)は、科学研究において、知識の表現、統合、適用の方法を変えつつある。
この調査は、モデルとその基盤となるデータ基板の共進化として、Sci-LLMの開発を再考する。
我々は、科学的データの統一された分類法と、科学的知識の階層的なモデルを定式化する。
論文 参考訳（メタデータ） (2025-08-28T18:30:52Z) - Demystifying Scientific Problem-Solving in LLMs by Probing Knowledge and Reasoning [53.82037883518254]
SciReasは、科学的推論タスクのための様々なベンチマークスイートである。
次に、科学的タスクにおける推論と知識の異なる役割を研究するための探索フレームワークであるKRUXを提案する。
論文 参考訳（メタデータ） (2025-08-26T17:04:23Z) - The Evolving Role of Large Language Models in Scientific Innovation: Evaluator, Collaborator, and Scientist [3.7803247326675162]
科学革新は、LLM(Large Language Models)の急速な進歩によって、パラダイムシフトが進んでいる。
本調査では,3つの階層レベル – 評価,コラボレーション,科学者 – にまたがる科学革新におけるLLMの役割を,包括的に分類する枠組みを提案する。
論文 参考訳（メタデータ） (2025-07-16T00:11:01Z) - The Next Phase of Scientific Fact-Checking: Advanced Evidence Retrieval from Complex Structured Academic Papers [11.88478056313921]
この問題は、科学知識の進化する性質に適合しなければならないため、一般的な事実チェックよりも本質的に複雑である。
既存のアプローチでは、抽象データからなる小規模データセットに基づいて、問題の簡易バージョンに重点を置いている。
本稿では,現状の科学的ファクトチェックシステムの限界について検討し,その性能向上に活用できる潜在的な特徴と資源を明らかにする。
論文 参考訳（メタデータ） (2025-06-25T21:29:33Z) - ScienceBoard: Evaluating Multimodal Autonomous Agents in Realistic Scientific Workflows [82.07367406991678]
大規模言語モデル(LLM)は自然言語処理を超えてその影響を拡大している。
これらのうち、コンピュータ利用エージェントは、人間がしているようにオペレーティングシステムと対話することができる。
我々はScienceBoardを紹介し、ダイナミックで視覚的にリッチな科学ソフトウェアを特徴とする現実的でマルチドメイン環境を包含する。
論文 参考訳（メタデータ） (2025-05-26T12:27:27Z) - Towards Scientific Intelligence: A Survey of LLM-based Scientific Agents [11.74019905854637]
大規模言語モデル(LLM)は、重要なタスクを自動化する科学的エージェントへと進化している。
汎用LLMとは異なり、特殊エージェントはドメイン固有の知識、高度なツールセット、堅牢な検証メカニズムを統合する。
一般的なエージェントと異なる理由と、さまざまな科学分野の研究を進める方法を強調します。
論文 参考訳（メタデータ） (2025-03-31T13:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。