論文の概要: Science Checker: Extractive-Boolean Question Answering For Scientific
Fact Checking
- arxiv url: http://arxiv.org/abs/2204.12263v1
- Date: Tue, 26 Apr 2022 12:35:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-27 12:16:05.466940
- Title: Science Checker: Extractive-Boolean Question Answering For Scientific
Fact Checking
- Title(参考訳): Science Checker: 科学的ファクトチェックに答える抽出的ブールな質問
- Authors: Lo\"ic Rakotoson, Charles Letaillieur, Sylvain Massip, Fr\'ejus Laleye
- Abstract要約: 本研究では,研究論文における事実と証拠からの合同推論に基づいて,科学的疑問を検証するためのマルチタスクアプローチを提案する。
提案した軽量かつ高速なアーキテクチャにより、平均エラー率は4%、F1スコアは95.6%に達した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the explosive growth of scientific publications, making the synthesis of
scientific knowledge and fact checking becomes an increasingly complex task. In
this paper, we propose a multi-task approach for verifying the scientific
questions based on a joint reasoning from facts and evidence in research
articles. We propose an intelligent combination of (1) an automatic information
summarization and (2) a Boolean Question Answering which allows to generate an
answer to a scientific question from only extracts obtained after
summarization. Thus on a given topic, our proposed approach conducts structured
content modeling based on paper abstracts to answer a scientific question while
highlighting texts from paper that discuss the topic. We based our final system
on an end-to-end Extractive Question Answering (EQA) combined with a three
outputs classification model to perform in-depth semantic understanding of a
question to illustrate the aggregation of multiple responses. With our light
and fast proposed architecture, we achieved an average error rate of 4% and a
F1-score of 95.6%. Our results are supported via experiments with two QA models
(BERT, RoBERTa) over 3 Million Open Access (OA) articles in the medical and
health domains on Europe PMC.
- Abstract(参考訳): 科学出版物の爆発的な成長に伴い、科学知識と事実チェックの合成はますます複雑なタスクになっている。
本稿では,研究論文における事実と証拠からの連立的推論に基づいて,科学的疑問を検証するためのマルチタスクアプローチを提案する。
本稿では,(1)自動情報要約と(2)要約後に得られた抽出物のみから科学的質問への回答を生成できるブール質問応答のインテリジェントな組み合わせを提案する。
そこで,本稿では,論文要約に基づく構造化コンテンツモデリングを実施し,そのトピックを議論する論文のテキストを強調表示しながら,科学的疑問に答える。
最終システムは,3つの出力分類モデルを組み合わせたエンドツーエンド抽出質問応答(eqa)に基づいて,質問の詳細な意味理解を行い,複数の回答の集約を説明する。
提案した軽量かつ高速なアーキテクチャにより、平均エラー率は4%、F1スコアは95.6%に達した。
本研究は,欧州PMCの医療・医療分野における3万件以上のオープンアクセス(OA)に関する2つのQAモデル(BERT,RoBERTa)を用いて実施した。
関連論文リスト
- SciQAG: A Framework for Auto-Generated Science Question Answering Dataset with Fine-grained Evaluation [11.129800893611646]
SciQAGは、大規模言語モデル(LLM)に基づく科学文献の大規模なコーパスから高品質な科学質問応答ペアを自動生成するフレームワークである。
我々は,24分野にわたる22,743の科学論文から抽出された188,042のQAペアを含む大規模で高品質な科学QAデータセットを構築した。
SciQAG-24DはLLMの科学質問応答能力を評価するための新しいベンチマークタスクである。
論文 参考訳(メタデータ) (2024-05-16T09:42:37Z) - PQA: Zero-shot Protein Question Answering for Free-form Scientific
Enquiry with Large Language Models [5.062600294117055]
本稿では, ゼロショットタンパク質質問回答(PQA)の新たな課題について紹介する。
未確認のタンパク質配列と自然言語の問題を考えると、その課題は科学的に正確な答えを提供することである。
我々はPQAモデルトレーニングのための最初の特別なデータセットを寄贈し、257Kのタンパク質配列に1.97Mの科学的質問応答ペアを付加した。
論文 参考訳(メタデータ) (2024-02-21T09:38:17Z) - Verif.ai: Towards an Open-Source Scientific Generative
Question-Answering System with Referenced and Verifiable Answers [0.0]
本研究の成果は,オープンソースの科学的生成質問応答システムであるVerifaiの紹介と検証を行った結果である。
本システムの構成要素は,(1) 科学的論文(ミストラル7B)上でのセマンティクスと語彙検索技術を組み合わせた情報検索システム,(3) クレームが導出された論文を参照して回答を生成し,(3) クレームが導出された論文と,そのクレームが導出された要約あるいは論文を相互に検証する検証エンジンである。
論文 参考訳(メタデータ) (2024-02-09T10:25:01Z) - PaperQA: Retrieval-Augmented Generative Agent for Scientific Research [41.9628176602676]
本稿では,科学文献に関する質問に回答するためのRAGエージェントPaperQAを紹介する。
PaperQAは、全文の科学論文を通じて情報検索を行い、ソースやパスの関連性を評価し、RAGを使用して回答を提供するエージェントである。
また、文献全体にわたる全文科学論文からの情報の検索と合成を必要とする、より複雑なベンチマークであるLitQAを紹介する。
論文 参考訳(メタデータ) (2023-12-08T18:50:20Z) - Generating Explanations in Medical Question-Answering by Expectation
Maximization Inference over Evidence [33.018873142559286]
本稿では,医療用QAシステムによって予測される回答に対して,自然言語による説明を生成するための新しい手法を提案する。
本システムは,説明生成過程における説明の質を高めるために,医学教科書から知識を抽出する。
論文 参考訳(メタデータ) (2023-10-02T16:00:37Z) - Reasoning over Hierarchical Question Decomposition Tree for Explainable
Question Answering [83.74210749046551]
ヘテロジニアス知識統合のための質問分解手法を提案する。
階層的質問分解木(RoHT)を用いた新しい2段階XQAフレームワークを提案する。
複雑なQAデータセットKQA ProとMusiqueの実験は、我々のフレームワークがSOTAメソッドを著しく上回っていることを示している。
論文 参考訳(メタデータ) (2023-05-24T11:45:59Z) - Learn to Explain: Multimodal Reasoning via Thought Chains for Science
Question Answering [124.16250115608604]
本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。
また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。
我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
論文 参考訳(メタデータ) (2022-09-20T07:04:24Z) - A Dataset of Information-Seeking Questions and Answers Anchored in
Research Papers [66.11048565324468]
1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。
各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。
他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
論文 参考訳(メタデータ) (2021-05-07T00:12:34Z) - What's New? Summarizing Contributions in Scientific Literature [85.95906677964815]
本稿では,論文のコントリビューションと作業状況について,個別の要約を生成するために,論文要約のアンタングル化という新たなタスクを導入する。
本稿では,学術論文のS2ORCコーパスを拡張し,コントリビューション・コントリビューション・コントリビューション・レファレンス・ラベルを付加する。
本稿では, 生成した出力の関連性, 新規性, 絡み合いを報告する総合的自動評価プロトコルを提案する。
論文 参考訳(メタデータ) (2020-11-06T02:23:01Z) - Interpretable Multi-Step Reasoning with Knowledge Extraction on Complex
Healthcare Question Answering [89.76059961309453]
HeadQAデータセットには、公衆医療専門試験で認可された複数の選択質問が含まれている。
これらの質問は、現在のQAシステムにとって最も難しいものです。
知識抽出フレームワーク(MurKe)を用いた多段階推論を提案する。
市販の事前訓練モデルを完全に活用しようと努力しています。
論文 参考訳(メタデータ) (2020-08-06T02:47:46Z) - CAiRE-COVID: A Question Answering and Query-focused Multi-Document
Summarization System for COVID-19 Scholarly Information Management [48.251211691263514]
我々は、リアルタイム質問応答(QA)とマルチドキュメント要約システムであるCAiRE-COVIDを紹介し、Kaggle COVID-19 Open Researchデータセットチャレンジで10のタスクのうちの1つを勝ち取った。
本システムの目的は,コミュニティからの優先度の高い質問に答えることによって,新型コロナウイルスに関する数多くの学術論文をマイニングすることにある。
論文 参考訳(メタデータ) (2020-05-04T15:07:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。