論文の概要: CLAPNQ: Cohesive Long-form Answers from Passages in Natural Questions for RAG systems
- arxiv url: http://arxiv.org/abs/2404.02103v1
- Date: Tue, 2 Apr 2024 17:00:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 15:30:03.149829
- Title: CLAPNQ: Cohesive Long-form Answers from Passages in Natural Questions for RAG systems
- Title(参考訳): CLAPNQ:RAGシステムに対する自然問題におけるパスからの結合型ロングフォーム回答
- Authors: Sara Rosenthal, Avirup Sil, Radu Florian, Salim Roukos,
- Abstract要約: 完全なRAGパイプラインのためのロングフォーム質問回答データセットのベンチマークであるClapNQを提示する。
ClapNQの答えは簡潔で、全通より3倍小さく、結束性があり、複数の節は連続しない。
本稿では,基礎となるRAGの改善の余地がまだ残っている地域に焦点を当てた,ClapNQのベースライン実験と解析を行う。
- 参考スコア(独自算出の注目度): 25.43441142845853
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Retrieval Augmented Generation (RAG) has become a popular application for large language models. It is preferable that successful RAG systems provide accurate answers that are supported by being grounded in a passage without any hallucinations. While considerable work is required for building a full RAG pipeline, being able to benchmark performance is also necessary. We present ClapNQ, a benchmark Long-form Question Answering dataset for the full RAG pipeline. ClapNQ includes long answers with grounded gold passages from Natural Questions (NQ) and a corpus to perform either retrieval, generation, or the full RAG pipeline. The ClapNQ answers are concise, 3x smaller than the full passage, and cohesive, with multiple pieces of the passage that are not contiguous. RAG models must adapt to these properties to be successful at ClapNQ. We present baseline experiments and analysis for ClapNQ that highlight areas where there is still significant room for improvement in grounded RAG. CLAPNQ is publicly available at https://github.com/primeqa/clapnq
- Abstract(参考訳): Retrieval Augmented Generation (RAG)は、大規模言語モデルの一般的なアプリケーションとなっている。
成功しているRAGシステムは、幻覚のない通路に接地することで支援される正確な答えを提供するのが好ましい。
完全なRAGパイプラインを構築するにはかなりの作業が必要だが、パフォーマンスのベンチマークも必要だ。
完全なRAGパイプラインのためのロングフォーム質問回答データセットのベンチマークであるClapNQを提示する。
ClapNQには、Natural Questions (NQ) の接地された金の通路と、検索、生成、完全なRAGパイプラインを実行するコーパスがある。
ClapNQの答えは簡潔で、全通より3倍小さく、結束性があり、複数の節は連続しない。
RAGモデルはこれらの特性に適応し、ClarpNQで成功する必要がある。
本稿では,基礎となるRAGの改善の余地がまだ残っている地域に焦点を当てた,ClapNQのベースライン実験と解析を行う。
CLAPNQはhttps://github.com/primeqa/clapnqで公開されている。
関連論文リスト
- Improving Question Generation with Multi-level Content Planning [70.37285816596527]
本稿では、与えられたコンテキストと回答から質問を生成する問題に対処し、特に拡張されたコンテキストをまたいだマルチホップ推論を必要とする質問に焦点をあてる。
具体的には、キーフレーズを同時に選択して完全な回答を生成するFA-modelと、生成した全回答を付加的な入力として取り込んだQ-modelの2つのコンポーネントを含む。
論文 参考訳(メタデータ) (2023-10-20T13:57:01Z) - A Practical Toolkit for Multilingual Question and Answer Generation [79.31199020420827]
我々は,マルチ言語QAGのオンラインサービスであるAutoQGと,モデル微調整,生成,評価のためのオールインワンPythonパッケージであるlmqgを紹介した。
また、事前訓練されたエンコーダ-デコーダ言語モデルのいくつかの変種を微調整した8言語でQAGモデルをリリースしています。
論文 参考訳(メタデータ) (2023-05-27T08:42:37Z) - Toward Unsupervised Realistic Visual Question Answering [70.67698100148414]
現実的なVQA(RVQA)の問題について検討し、モデルが答えられない質問(UQ)を拒絶し、答えられる質問(AQ)に答えなければならない。
1)データセットには不整合UQが多すぎること,(2)多数の注釈付きUQがトレーニングに必要とされること,の2つの欠点を最初に指摘した。
我々は、既存のVQAデータセットのAQと約29万の人間の注釈付きUQを組み合わせた新しいテストデータセットRGQAを提案する。
これは、画像と質問をランダムにペアリングして得られる擬似UQと、それを結合する。
論文 参考訳(メタデータ) (2023-03-09T06:58:29Z) - DUAL: Textless Spoken Question Answering with Speech Discrete Unit
Adaptive Learning [66.71308154398176]
SQA (Spken Question Answering) は近年注目され, 目覚ましい進歩を遂げている。
既存のSQA手法は、収集に時間と費用がかかる自動音声認識(ASR)の転写に依存している。
本研究は,未ラベルのデータを事前学習に活用し,SQAダウンストリームタスクによって微調整される離散単位適応学習(DUAL)という,ASR transcript-free SQAフレームワークを提案する。
論文 参考訳(メタデータ) (2022-03-09T17:46:22Z) - Relation-Guided Pre-Training for Open-Domain Question Answering [67.86958978322188]
複雑なオープンドメイン問題を解決するためのRGPT-QA(Relation-Guided Pre-Training)フレームワークを提案する。
RGPT-QAは, 自然質問, TriviaQA, WebQuestionsにおいて, Exact Matchの精度が2.2%, 2.4%, 6.3%向上したことを示す。
論文 参考訳(メタデータ) (2021-09-21T17:59:31Z) - NeuralQA: A Usable Library for Question Answering (Contextual Query
Expansion + BERT) on Large Datasets [0.6091702876917281]
NeuralQAは、大規模なデータセットに対する質問回答(QA)のためのライブラリである。
既存のインフラストラクチャ(例えば、HuggingFace Transformers APIでトレーニングされたElasticSearchインスタンスやリーダモデル)と統合され、QAサブタスクに有用なデフォルトを提供する。
NeuralQAのコードとドキュメントはGithubでオープンソースとして公開されている。
論文 参考訳(メタデータ) (2020-07-30T03:38:30Z) - Relevance-guided Supervision for OpenQA with ColBERT [27.599190047511033]
ColBERT-QAはスケーラブルなニューラルネットワークモデルColBERTをOpenQAに適合させる。
ColBERTは、質問と通過の間のきめ細かい相互作用を生成する。
これにより、Natural Questions、SQuAD、TriviaQAのOpenQA検索が大幅に改善される。
論文 参考訳(メタデータ) (2020-07-01T23:50:58Z) - Fluent Response Generation for Conversational Question Answering [15.826109118064716]
本稿では,SEQ2SEQ NLGアプローチで応答をシチュレートする手法を提案する。
我々は、エンドツーエンドシステムのトレーニングデータを生成するためにデータ拡張を使用します。
論文 参考訳(メタデータ) (2020-05-21T04:57:01Z) - Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
教師なし質問回答(QA)を改善するための2つのアプローチを提案する。
まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。
第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
論文 参考訳(メタデータ) (2020-05-06T15:56:06Z) - Towards Automatic Generation of Questions from Long Answers [11.198653485869935]
本稿では,従来のAQGシステムの性能評価のための新しい評価ベンチマークを提案する。
既存のAQG法の性能は,回答の長さが大きくなるにつれて著しく低下することを示した。
トランスフォーマーに基づく手法は, 従来のAQG法よりも, 自己評価や人的評価の点で優れていた。
論文 参考訳(メタデータ) (2020-04-10T16:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。