論文の概要: PaperQA: Retrieval-Augmented Generative Agent for Scientific Research

• arxiv url: http://arxiv.org/abs/2312.07559v2
• Date: Thu, 14 Dec 2023 19:40:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 18:10:31.605948
• Title: PaperQA: Retrieval-Augmented Generative Agent for Scientific Research
• Title（参考訳）: PaperQA: 科学的研究のための検索強化生成エージェント
• Authors: Jakub L\'ala, Odhran O'Donoghue, Aleksandar Shtedritski, Sam Cox, Samuel G. Rodriques, Andrew D. White
• Abstract要約: 本稿では,科学文献に関する質問に回答するためのRAGエージェントPaperQAを紹介する。 PaperQAは、全文の科学論文を通じて情報検索を行い、ソースやパスの関連性を評価し、RAGを使用して回答を提供するエージェントである。 また、文献全体にわたる全文科学論文からの情報の検索と合成を必要とする、より複雑なベンチマークであるLitQAを紹介する。
• 参考スコア（独自算出の注目度）: 41.9628176602676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) generalize well across language tasks, but suffer from hallucinations and uninterpretability, making it difficult to assess their accuracy without ground-truth. Retrieval-Augmented Generation (RAG) models have been proposed to reduce hallucinations and provide provenance for how an answer was generated. Applying such models to the scientific literature may enable large-scale, systematic processing of scientific knowledge. We present PaperQA, a RAG agent for answering questions over the scientific literature. PaperQA is an agent that performs information retrieval across full-text scientific articles, assesses the relevance of sources and passages, and uses RAG to provide answers. Viewing this agent as a question answering model, we find it exceeds performance of existing LLMs and LLM agents on current science QA benchmarks. To push the field closer to how humans perform research on scientific literature, we also introduce LitQA, a more complex benchmark that requires retrieval and synthesis of information from full-text scientific papers across the literature. Finally, we demonstrate PaperQA's matches expert human researchers on LitQA.
• Abstract（参考訳）: 大規模言語モデル(llm)は、言語タスクをまたがってうまく一般化するが、幻覚や解釈不能に苦しむため、根拠を欠くことなくその正確性を評価することは困難である。 Retrieval-Augmented Generation (RAG)モデルは幻覚を減らし、どのように回答が生成されるかを示すために提案されている。 このようなモデルを科学文献に適用することで、科学知識の大規模かつ体系的な処理が可能になる。 本稿では科学文献に関する質問に答えるためのRAGエージェントPaperQAを紹介する。 PaperQAは、全文の科学論文を通じて情報検索を行い、ソースやパスの関連性を評価し、RAGを使用して回答を提供するエージェントである。 このエージェントを質問応答モデルとして見てみると、現在の科学QAベンチマークにおいて、既存のLLMおよびLLMエージェントの性能を上回ることが分かる。 科学文献研究の領域に近づこうとする試みとして,全文科学論文の情報検索と合成を必要とする,より複雑なベンチマークであるlitqaも紹介する。 最後に、LitQAのヒト研究者によるPaperQAのマッチを実演する。

関連論文リスト

• PeerQA: A Scientific Question Answering Dataset from Peer Reviews [51.95579001315713]
  実世界の科学的、文書レベルの質問回答データセットであるPeerQAを提示する。 データセットには208の学術論文から579のQAペアが含まれており、MLとNLPが多数を占めている。 収集したデータセットを詳細に分析し、3つのタスクのベースラインシステムを確立する実験を行う。
  論文  参考訳（メタデータ） (2025-02-19T12:24:46Z)
• ArxEval: Evaluating Retrieval and Generation in Language Models for Scientific Literature [0.0]
  第一の課題は幻覚(幻覚)である。 この種の不正確さは、学術や教育など、高いレベルの事実の正しさを必要とするすべての領域において危険である。 本研究は, 言語モデルが科学文献における応答生成において幻覚を与える頻度を評価するパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-01-17T05:19:24Z)
• SciDQA: A Deep Reading Comprehension Dataset over Scientific Papers [20.273439120429025]
  SciDQAは、科学論文の深い理解のためにLSMに挑戦する、理解を読むための新しいデータセットである。 他の科学的QAデータセットとは異なり、SciDQAはドメインの専門家によるピアレビューや論文の著者による回答から質問を出している。 SciDQAの質問は、図、表、方程式、付属品、補足材料にまたがる推論を必要とする。
  論文  参考訳（メタデータ） (2024-11-08T05:28:22Z)
• Language agents achieve superhuman synthesis of scientific knowledge [0.7635132958167216]
  PaperQA2は、ファクトリティの改善、マッチング、あるいは課題の専門家のパフォーマンスを上回るように最適化されたフロンティア言語モデルエージェントである。 PaperQA2は、Wikipediaのような科学的トピックの要約を引用している。 本稿では,人間にとって重要な科学的課題である科学文献の矛盾を明らかにするためにPaperQA2を適用した。
  論文  参考訳（メタデータ） (2024-09-10T16:37:58Z)
• SciQAG: A Framework for Auto-Generated Science Question Answering Dataset with Fine-grained Evaluation [11.129800893611646]
  SciQAGは、大規模言語モデル(LLM)に基づく科学文献の大規模なコーパスから高品質な科学質問応答ペアを自動生成するフレームワークである。 我々は,24分野にわたる22,743の科学論文から抽出された188,042のQAペアを含む大規模で高品質な科学QAデータセットを構築した。 SciQAG-24DはLLMの科学質問応答能力を評価するための新しいベンチマークタスクである。
  論文  参考訳（メタデータ） (2024-05-16T09:42:37Z)
• ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
  ResearchAgentは、新しい作品のアイデアと運用のためのAIベースのシステムである。 ResearchAgentは、新しい問題を自動で定義し、手法と設計実験を提案し、繰り返し修正する。 我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-11T13:36:29Z)
• SurveyAgent: A Conversational System for Personalized and Efficient Research Survey [50.04283471107001]
  本稿では,研究者にパーソナライズされた効率的な調査支援を目的とした会話システムであるSurveyAgentを紹介する。 SurveyAgentは3つの重要なモジュールを統合している。文書を整理するための知識管理、関連する文献を発見するための勧告、より深いレベルでコンテンツを扱うためのクエリ回答だ。 本評価は,研究活動の合理化におけるSurveyAgentの有効性を実証し,研究者の科学文献との交流を促進する能力を示すものである。
  論文  参考訳（メタデータ） (2024-04-09T15:01:51Z)
• CitationIE: Leveraging the Citation Graph for Scientific Information Extraction [89.33938657493765]
  引用論文と引用論文の参照リンクの引用グラフを使用する。 最先端技術に対するエンド・ツー・エンドの情報抽出の大幅な改善を観察する。
  論文  参考訳（メタデータ） (2021-06-03T03:00:12Z)
• Enhancing Scientific Papers Summarization with Citation Graph [78.65955304229863]
  引用グラフを用いて科学論文の要約作業を再定義します。 我々は,141kの研究論文を異なる領域に格納した,新しい科学論文要約データセットセマンティックスタディネットワーク(ssn)を構築した。 我々のモデルは、事前訓練されたモデルと比較して競争性能を達成することができる。
  論文  参考訳（メタデータ） (2021-04-07T11:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。