論文の概要: Verif.ai: Towards an Open-Source Scientific Generative
Question-Answering System with Referenced and Verifiable Answers
- arxiv url: http://arxiv.org/abs/2402.18589v1
- Date: Fri, 9 Feb 2024 10:25:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-03 19:10:55.011566
- Title: Verif.ai: Towards an Open-Source Scientific Generative
Question-Answering System with Referenced and Verifiable Answers
- Title（参考訳）: Verif.ai: 参考及び検証可能な回答を用いたオープンソース科学生成質問応答システムを目指して
- Authors: Milo\v{s} Ko\v{s}prdi\'c, Adela Ljaji\'c, Bojana Ba\v{s}aragin, Darija
Medvecki, Nikola Milo\v{s}evi\'c
- Abstract要約: 本研究の成果は,オープンソースの科学的生成質問応答システムであるVerifaiの紹介と検証を行った結果である。
本システムの構成要素は,(1) 科学的論文(ミストラル7B)上でのセマンティクスと語彙検索技術を組み合わせた情報検索システム,(3) クレームが導出された論文を参照して回答を生成し,(3) クレームが導出された論文と,そのクレームが導出された要約あるいは論文を相互に検証する検証エンジンである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present the current progress of the project Verif.ai, an
open-source scientific generative question-answering system with referenced and
verified answers. The components of the system are (1) an information retrieval
system combining semantic and lexical search techniques over scientific papers
(PubMed), (2) a fine-tuned generative model (Mistral 7B) taking top answers and
generating answers with references to the papers from which the claim was
derived, and (3) a verification engine that cross-checks the generated claim
and the abstract or paper from which the claim was derived, verifying whether
there may have been any hallucinations in generating the claim. We are
reinforcing the generative model by providing the abstract in context, but in
addition, an independent set of methods and models are verifying the answer and
checking for hallucinations. Therefore, we believe that by using our method, we
can make scientists more productive, while building trust in the use of
generative language models in scientific environments, where hallucinations and
misinformation cannot be tolerated.
- Abstract（参考訳）: 本稿では,このプロジェクトの現況について述べる。verif.aiは,参照・検証された回答を持つ,オープンソースの科学的生成型質問応答システムである。
The components of the system are (1) an information retrieval system combining semantic and lexical search techniques over scientific papers (PubMed), (2) a fine-tuned generative model (Mistral 7B) taking top answers and generating answers with references to the papers from which the claim was derived, and (3) a verification engine that cross-checks the generated claim and the abstract or paper from which the claim was derived, verifying whether there may have been any hallucinations in generating the claim.
我々は,抽象的な文脈を提供することで生成モデルを補強しているが,それに加えて,独立した手法やモデルの集合が解答の検証と幻覚の確認を行っている。
したがって,本手法を用いることで,幻覚や誤報を許容できない科学的環境における生成言語モデルの利用に対する信頼を築いながら,科学者をより生産的にすることができると信じている。
関連論文リスト
- Explainable Artifacts for Synthetic Western Blot Source Attribution [18.798003207293746]
近年の人工知能の進歩により、生成モデルは原始的なものと区別できない合成科学的イメージを生成できるようになった。
本研究の目的は、最先端の生成モデルによって生成された説明可能なアーティファクトを特定し、それらをオープンセットの識別とソース属性に活用することである。
論文 参考訳（メタデータ） (2024-09-27T16:18:13Z) - Analysis of Plan-based Retrieval for Grounded Text Generation [78.89478272104739]
幻覚は、言語モデルがそのパラメトリック知識の外で生成タスクが与えられるときに起こる。
この制限に対処するための一般的な戦略は、言語モデルに検索メカニズムを注入することである。
我々は,幻覚の頻度をさらに減少させるために,探索のガイドとして計画をどのように利用できるかを分析する。
論文 参考訳（メタデータ） (2024-08-20T02:19:35Z) - Scientific QA System with Verifiable Answers [0.0]
我々は,オープンソースの科学的質問応答システムであるVerifAIプロジェクトを紹介した。
本システムの構成要素は,(1)科学的論文(ミストラル7B)上の意味論的検索技術と語彙的検索技術を組み合わせた情報検索システム,(2)微調整生成モデル(ミストラル7B)を用いた検索型生成(RAG)モジュール,(3)微調整DBERTaに基づく検証エンジン,である。
論文 参考訳（メタデータ） (2024-07-16T08:21:02Z) - Retrieve to Explain: Evidence-driven Predictions with Language Models [0.791663505497707]
本稿では,検索に基づく言語モデルであるRetrieve to Explain (R2E)を紹介する。
R2Eは、ドキュメントコーパスから取得した証拠に基づいて、研究質問に対するすべての可能な回答をスコアし、ランク付けする。
薬物標的同定の課題を科学的文献から評価する。
論文 参考訳（メタデータ） (2024-02-06T15:13:17Z) - NELLIE: A Neuro-Symbolic Inference Engine for Grounded, Compositional, and Explainable Reasoning [59.16962123636579]
本稿では,Prologベースの推論エンジンを新たに提案する。
我々は手作りのルールを、ニューラルネットワークモデリング、ガイド付き生成、半密検索の組み合わせで置き換える。
我々の実装であるNELLIEは、完全に解釈可能なエンドツーエンドの基底QAを示す最初のシステムである。
論文 参考訳（メタデータ） (2022-09-16T00:54:44Z) - Science Checker: Extractive-Boolean Question Answering For Scientific
Fact Checking [0.0]
本研究では,研究論文における事実と証拠からの合同推論に基づいて,科学的疑問を検証するためのマルチタスクアプローチを提案する。
提案した軽量かつ高速なアーキテクチャにより、平均エラー率は4%、F1スコアは95.6%に達した。
論文 参考訳（メタデータ） (2022-04-26T12:35:23Z) - Don't Say What You Don't Know: Improving the Consistency of Abstractive
Summarization by Constraining Beam Search [54.286450484332505]
本研究は,幻覚とトレーニングデータの関連性を解析し,学習対象の要約を学習した結果,モデルが幻覚を呈する証拠を見出した。
本稿では,ビーム探索を制約して幻覚を回避し,変換器をベースとした抽象要約器の整合性を向上させる新しい復号法であるPINOCCHIOを提案する。
論文 参考訳（メタデータ） (2022-03-16T07:13:52Z) - RerrFact: Reduced Evidence Retrieval Representations for Scientific
Claim Verification [4.052777228128475]
本稿では,各予測サブタスクに対して連続的に二項分類を行うモジュラー手法を提案する。
我々は、まず非関連な有理を区別し、与えられた主張に対する支持または反証する有理を識別する2段階のスタンス予測を行う。
実験的に、我々のシステムRerrFactは微調整もシンプルな設計もせず、モデルパラメータのごく一部はリーダーボード上で競争的に公正である。
論文 参考訳（メタデータ） (2022-02-05T21:52:45Z) - Improving Faithfulness in Abstractive Summarization with Contrast
Candidate Generation and Selection [54.38512834521367]
モデル非依存後処理技術としてのコントラスト候補生成と選択について検討する。
代替候補要約を生成して判別補正モデルを学習する。
このモデルを使用して、最終的な出力サマリーとして最適な候補を選択する。
論文 参考訳（メタデータ） (2021-04-19T05:39:24Z) - Commonsense Evidence Generation and Injection in Reading Comprehension [57.31927095547153]
本稿では,CEGI と命名された理解を読み取るためのコモンセンス・エビデンス・ジェネレーション・インジェクション・フレームワークを提案する。
この枠組みは、2種類の補助的コモンセンス証拠を包括的読解に注入し、機械に合理的思考能力を持たせる。
CosmosQAデータセットの実験では、提案されたCEGIモデルが現在の最先端アプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-05-11T16:31:08Z) - A Controllable Model of Grounded Response Generation [122.7121624884747]
現在のエンドツーエンドのニューラルネットワークモデルは、応答生成プロセスにセマンティックコントロールを課す柔軟性を本質的に欠いている。
我々は制御可能な接地応答生成(CGRG)と呼ばれるフレームワークを提案する。
このフレームワークを用いることで、会話のようなRedditデータセットでトレーニングされた、新しいインダクティブアテンション機構を備えたトランスフォーマーベースのモデルが、強力な生成ベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2020-05-01T21:22:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。