Fugu-MT 論文翻訳(概要): Scientific QA System with Verifiable Answers

論文の概要: Scientific QA System with Verifiable Answers

arxiv url: http://arxiv.org/abs/2407.11485v1
Date: Tue, 16 Jul 2024 08:21:02 GMT
ステータス: 処理完了
システム内更新日: 2024-07-17 16:02:34.116001
Title: Scientific QA System with Verifiable Answers
Title（参考訳）: 検証可能な回答を用いた科学的QAシステム
Authors: Adela Ljajić, Miloš Košprdić, Bojana Bašaragin, Darija Medvecki, Lorenzo Cassano, Nikola Milošević,
Abstract要約: 我々は,オープンソースの科学的質問応答システムであるVerifAIプロジェクトを紹介した。本システムの構成要素は,(1)科学的論文(ミストラル7B)上の意味論的検索技術と語彙的検索技術を組み合わせた情報検索システム,(2)微調整生成モデル(ミストラル7B)を用いた検索型生成(RAG)モジュール,(3)微調整DBERTaに基づく検証エンジン,である。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: In this paper, we introduce the VerifAI project, a pioneering open-source scientific question-answering system, designed to provide answers that are not only referenced but also automatically vetted and verifiable. The components of the system are (1) an Information Retrieval system combining semantic and lexical search techniques over scientific papers (PubMed), (2) a Retrieval-Augmented Generation (RAG) module using fine-tuned generative model (Mistral 7B) and retrieved articles to generate claims with references to the articles from which it was derived, and (3) a Verification engine, based on a fine-tuned DeBERTa and XLM-RoBERTa models on Natural Language Inference task using SciFACT dataset. The verification engine cross-checks the generated claim and the article from which the claim was derived, verifying whether there may have been any hallucinations in generating the claim. By leveraging the Information Retrieval and RAG modules, Verif.ai excels in generating factual information from a vast array of scientific sources. At the same time, the Verification engine rigorously double-checks this output, ensuring its accuracy and reliability. This dual-stage process plays a crucial role in acquiring and confirming factual information, significantly enhancing the information landscape. Our methodology could significantly enhance scientists' productivity, concurrently fostering trust in applying generative language models within scientific domains, where hallucinations and misinformation are unacceptable.
Abstract（参考訳）: 本稿では,オープンソースの科学的質問応答システムであるVerifAIプロジェクトを紹介し,参照されたばかりでなく,自動的に検証し,検証可能な回答を提供する。本システムの特徴は,(1)科学論文(PubMed)上の意味的および語彙的検索技術を組み合わせた情報検索システム,(2)微調整生成モデル(Mistral 7B)を用いた検索用モジュール,(3)SciFACTデータセットを用いた自然言語推論タスクに基づく細調整DeBERTaおよびXLM-RoBERTaモデルに基づく検証エンジン,である。検証エンジンは、生成されたクレームとクレームが導出された記事とを相互にチェックし、クレームの生成に幻覚があったかどうかを検証する。 Information RetrievalとRAGモジュールを活用することで、Verif.aiは様々な科学資料から事実情報を生成できる。同時に、検証エンジンはこの出力を厳格に2倍にチェックし、精度と信頼性を確保する。この2段階のプロセスは、事実情報の取得と確認において重要な役割を担い、情報ランドスケープを著しく向上させる。我々の手法は科学者の生産性を大幅に向上させ、幻覚や誤報が受け入れられない科学領域に生成言語モデルを適用することへの信頼を同時に促進する可能性がある。

関連論文リスト

Can Large Language Models Detect Misinformation in Scientific News Reporting? [1.0344642971058586]
本稿では,科学的報告における誤情報の検出に大規模言語モデル(LLM)を用いることが可能であるかを検討する。最初にラベル付きデータセットSciNewsを提示し、信頼できない情報源から抜粋された2.4万の科学ニュース記事を含む。科学ニュース記事の科学的妥当性の次元を識別し、科学的誤報の自動検出にどのように組み込むかを検討する。
論文参考訳（メタデータ） (2024-02-22T04:07:00Z)
Verif.ai: Towards an Open-Source Scientific Generative Question-Answering System with Referenced and Verifiable Answers [0.0]
本研究の成果は,オープンソースの科学的生成質問応答システムであるVerifaiの紹介と検証を行った結果である。本システムの構成要素は,(1) 科学的論文(ミストラル7B)上でのセマンティクスと語彙検索技術を組み合わせた情報検索システム,(3) クレームが導出された論文を参照して回答を生成し,(3) クレームが導出された論文と,そのクレームが導出された要約あるいは論文を相互に検証する検証エンジンである。
論文参考訳（メタデータ） (2024-02-09T10:25:01Z)
Knowledge-Augmented Language Model Verification [68.6099592486075]
最近の言語モデル(LM)は、パラメータに内在化された知識を持つテキストを生成する際、印象的な能力を示している。本稿では,知識付加型LMの出力と知識を別個の検証器で検証することを提案する。その結果,提案した検証器は,検索と生成の誤りを効果的に識別し,LMがより現実的に正しい出力を提供できることを示した。
論文参考訳（メタデータ） (2023-10-19T15:40:00Z)
Generating Scientific Claims for Zero-Shot Scientific Fact Checking [54.62086027306609]
科学言語の複雑さと大量のトレーニングデータが不足しているため、自動科学的事実チェックは困難である。科学的な文から1つ以上の原子的かつ検証可能なクレームを生成するための科学的クレーム生成を提案する。また, バイオメディカルクレームのゼロショット事実チェックにも有用であることを示す。
論文参考訳（メタデータ） (2022-03-24T11:29:20Z)
Synthetic Disinformation Attacks on Automated Fact Verification Systems [53.011635547834025]
本研究では,2つのシミュレーション環境において,自動ファクトチェッカーの合成正反対証拠に対する感度について検討する。これらのシステムでは,これらの攻撃に対して大幅な性能低下がみられた。偽情報の発生源としての現代のNLGシステムの脅威の増大について論じる。
論文参考訳（メタデータ） (2022-02-18T19:01:01Z)
RerrFact: Reduced Evidence Retrieval Representations for Scientific Claim Verification [4.052777228128475]
本稿では,各予測サブタスクに対して連続的に二項分類を行うモジュラー手法を提案する。我々は、まず非関連な有理を区別し、与えられた主張に対する支持または反証する有理を識別する2段階のスタンス予測を行う。実験的に、我々のシステムRerrFactは微調整もシンプルな設計もせず、モデルパラメータのごく一部はリーダーボード上で競争的に公正である。
論文参考訳（メタデータ） (2022-02-05T21:52:45Z)
Automated Creation and Human-assisted Curation of Computable Scientific Models from Code and Text [2.3746609573239756]
ドメインエキスパートは、コードに詳しくなければ、科学的モデルの実装を完全に理解することはできない。我々は,科学モデルの自動作成と人手によるキュレーションのためのシステムを開発した。本研究では,NASAのハイパーソニック・エアロダイナミックス(Hypersonic Aerodynamics)のウェブサイトから得られたコードと関連テキストのデータセットを用いて実験を行った。
論文参考訳（メタデータ） (2022-01-28T17:31:38Z)
A Controllable Model of Grounded Response Generation [122.7121624884747]
現在のエンドツーエンドのニューラルネットワークモデルは、応答生成プロセスにセマンティックコントロールを課す柔軟性を本質的に欠いている。我々は制御可能な接地応答生成(CGRG)と呼ばれるフレームワークを提案する。このフレームワークを用いることで、会話のようなRedditデータセットでトレーニングされた、新しいインダクティブアテンション機構を備えたトランスフォーマーベースのモデルが、強力な生成ベースラインを上回っていることを示す。
論文参考訳（メタデータ） (2020-05-01T21:22:08Z)
Fact or Fiction: Verifying Scientific Claims [53.29101835904273]
本稿では,研究文献から,REFUTESやREFUTESが与えられた科学的主張であることを示す証拠を含む抄録を抽出する新たな課題である,科学的クレーム検証を紹介する。 SciFactは、1.4Kの専門家による科学的主張と、ラベルや合理性に注釈を付けたエビデンスを含む抽象概念を組み合わせたデータセットである。このシステムは,CORD-19コーパスの証拠を同定することにより,新型コロナウイルス関連クレームを検証可能であることを示す。
論文参考訳（メタデータ） (2020-04-30T17:22:57Z)
Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。