論文の概要: Can Large Language Models Review the Scientific Literature? A Test Against a 102-Article Benchmark
- arxiv url: http://arxiv.org/abs/2611.05459v1
- Date: Tue, 03 Nov 2026 18:57:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.812544
- Title: Can Large Language Models Review the Scientific Literature? A Test Against a 102-Article Benchmark
- Title（参考訳）: 大規模言語モデルは科学文献をレビューできるか? 102条のベンチマークに対するテスト
- Abstract要約: 関連記事を探し出し、それらを解釈し、それらを合成し、将来の研究を提案する6つのAIツールを評価します。
このベンチマークは、スペイン風雨のパターンとその102-アルティクル・コーパスのレビューである。
- 参考スコア（独自算出の注目度）: 38.227085010838344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly used to support scientific literature reviews, yet evaluations often examine individual tasks rather than the review process as a whole. We assess six AI tools across four stages: finding relevant articles, interpreting them, synthesizing across them, and proposing future research. The benchmark is a published review of the Spanish plume weather pattern and its 102-article corpus. In the initial searches, five tools collectively identified 57 articles, with the best individual tool finding 42. Institutional library access increased discovery from 42 to 82 articles for Codex and from 15 to 79 for Claude Code. Given the complete corpus of 102 PDFs, three tools correctly identified all 18 articles discussing the Spanish plume substantially, but incorrectly classified 40% to 79% of the 84 passing mentions as substantial. The same three tools produced syntheses evaluated blindly by two domain experts. Although largely accurate, the syntheses provided limited insight and sometimes contained unsupported claims, quotation errors, and exaggerated statements of consensus. Finally, all three tools proposed research directions broader than the Spanish plume literature, although two approached questions identified in the benchmark review. No single tool performed best across all tasks. We provide eight recommendations for researchers using AI tools in literature reviews. Our findings suggest that LLMs can assist with discovering and interpreting scientific literature, particularly when institutional access is available, but cannot replace expert judgment in evaluating evidence or synthesizing research.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、科学文献のレビューをサポートするために使われることが多いが、評価はレビュープロセス全体よりも個々のタスクを検査することが多い。
関連記事を探し出し、それらを解釈し、それらを合成し、将来の研究を提案する6つのAIツールを評価します。
このベンチマークは、スペイン風雨のパターンとその102-アルティクル・コーパスのレビューである。
最初の調査では、5つのツールが57の項目をまとめて識別し、最高のツールが42。
機関図書館へのアクセスは、Codexの42条から82条、Claude Codeの15条から79条に増加した。
102のPDFの完全なコーパスを考えると、3つのツールはスペイン語のプルームを論じる18の記事全てを正しく識別するが、84通の言及の40%から79%を重大なものとして誤って分類した。
同じ3つのツールが、2つのドメインの専門家によって盲目的に評価された合成を生み出した。
概ね正確ではあるが、合成は限られた洞察を与え、時には支持できない主張、引用の誤り、大げさなコンセンサス文を提供した。
最後に、3つのツールがスペインのプラム文学よりも広い研究方向を提案したが、ベンチマークレビューでは2つの質問にアプローチした。
すべてのタスクで最善を尽くしたツールはひとつもなかった。
文献レビューにおいて,AIツールを用いた研究者に8つの推奨事項を提供する。
以上の結果から, LLMは科学文献の発見・解釈, 特に機関的アクセスが可能である場合に有効であるが, 証拠評価や研究の合成において, 専門家による判断に取って代わることはできないことが示唆された。
関連論文リスト
- Deep Academic Survey: Stateful Agentic Closed-Loop Paradigm for Academic Survey Automation [60.151050016855834]
DASは出版指向の学術調査を作成するためのステートフルなエージェント・フレームワークである。
その鍵となる考え方は、再利用可能な紙分析とトピック固有の原稿構築を分離することである。
DASは4つの次元で最高点に達し、総合スコアは4.34であり、最強の競争相手は4.03である。
論文 参考訳（メタデータ） (2026-08-18T17:29:00Z) - LitReview Arena: Evaluating Literature Review Agents with Battle-Style Peer Review Platform [13.086691381971441]
文献レビュー品質に適した構造化プロトコルを備えた戦闘型評価プラットフォームであるLitReview Arenaを紹介する。
AIのペーパーライティング経験を持つドメインエキスパートは、匿名化されたドラフトを比較し、専門分野のトピックにマッチする。
このプロトコルから,約3kの専門的判断を収集し,それぞれが5次元的な結果を含む。
論文 参考訳（メタデータ） (2026-07-01T14:54:07Z) - Autonomous Research Agents: A Survey of AI Scientists and the Verification Gap [14.13381700671035]
大規模言語モデル(LLM)エージェントは、科学研究のライフサイクル全体にわたってますます利用されている。
エンドツーエンドのAI科学者システムは、紙のような原稿を作れるようになったが、彼らの主張は、コードを実行するよりも検証が難しいことが多い。
この調査は、コード、ベンチマーク、実験、書き込みが最も目に見える計算AI/ML研究のギャップについて調査する。
論文 参考訳（メタデータ） (2026-06-29T01:32:49Z) - Can Deep Research Agents Find and Organize? Evaluating the Synthesis Gap with Expert Taxonomies [57.11324429385405]
72のコンピュータサイエンスサーベイから得られた診断ベンチマークであるTaxoBenchを紹介する。
我々は,3,815個の引用を根本的真理として正確に分類した分類木を手作業で抽出した。
ベストエージェントは、専門家が選択した論文の20.9%しかリコールせず、完璧なインプットであっても、最高のモデルは組織の0.31 ARIしか達成していない。
論文 参考訳（メタデータ） (2026-01-18T11:57:09Z) - ELAIPBench: A Benchmark for Expert-Level Artificial Intelligence Paper Understanding [49.67493845115009]
ELAIPBenchは、大規模言語モデルによるAI研究論文の理解を評価するために、ドメインの専門家によってキュレーションされたベンチマークである。
難易度は3つあり、浅い検索よりも非自明な推論に重点を置いている。
実験の結果、最高の性能のLSMは、人間の性能よりはるかに低い39.95%の精度しか達成できないことがわかった。
論文 参考訳（メタデータ） (2025-10-12T11:11:20Z) - SciSage: A Multi-Agent Framework for High-Quality Scientific Survey Generation [2.985620880452744]
SciSageはリフレクション・ワン・ユー・ライト・パラダイムを使ったマルチエージェント・フレームワークである。
アウトライン、セクション、ドキュメントレベルでのドラフトを批判的に評価し、クエリの解釈、コンテンツ検索、洗練のための特別なエージェントと協調する。
また、11のコンピュータサイエンス領域にわたる46のハイインパクト論文(2020-2025)のベンチマークであるSurveyScopeをリリースしています。
論文 参考訳（メタデータ） (2025-06-15T02:23:47Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。
実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-24T02:33:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。