論文の概要: Visconde: Multi-document QA with GPT-3 and Neural Reranking

• arxiv url: http://arxiv.org/abs/2212.09656v1
• Date: Mon, 19 Dec 2022 17:39:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 17:59:07.542885
• Title: Visconde: Multi-document QA with GPT-3 and Neural Reranking
• Title（参考訳）: Visconde: GPT-3とニューラルネットワークによるマルチドキュメントQA
• Authors: Jayr Pereira, Robson Fidalgo, Roberto Lotufo, Rodrigo Nogueira
• Abstract要約: 本稿では,複数の文書にまたがる証拠を裏付ける質問に回答できる質問応答システムを提案する。 Viscondeと呼ばれるこのシステムは、3ステップのパイプラインを使ってタスクを実行する。
• 参考スコア（独自算出の注目度）: 4.9069311006119865
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This paper proposes a question-answering system that can answer questions whose supporting evidence is spread over multiple (potentially long) documents. The system, called Visconde, uses a three-step pipeline to perform the task: decompose, retrieve, and aggregate. The first step decomposes the question into simpler questions using a few-shot large language model (LLM). Then, a state-of-the-art search engine is used to retrieve candidate passages from a large collection for each decomposed question. In the final step, we use the LLM in a few-shot setting to aggregate the contents of the passages into the final answer. The system is evaluated on three datasets: IIRC, Qasper, and StrategyQA. Results suggest that current retrievers are the main bottleneck and that readers are already performing at the human level as long as relevant passages are provided. The system is also shown to be more effective when the model is induced to give explanations before answering a question. Code is available at \url{https://github.com/neuralmind-ai/visconde}.
• Abstract（参考訳）: 本稿では,複数の(潜在的に長い)文書に支持証拠が分散している質問応答システムを提案する。 viscondeと呼ばれるこのシステムは、3段階のパイプラインを使ってタスクを実行している。 最初のステップは、少数の大規模言語モデル(llm)を使用して、質問を単純な質問に分解する。 そして、最先端検索エンジンを用いて、分解された各質問に対して、大集合から候補通路を検索する。 最後のステップでは、LLMをいくつかのショット設定で使用して、パスの内容を最終回答に集約します。 このシステムは、IIRC、Qasper、StrategyQAの3つのデータセットで評価されている。 その結果,現在のリトリバーが主なボトルネックであり,関連するパスが提供される限り,読者はすでに人間レベルでの作業を行っていることが示唆された。 また、モデルが質問に答える前に説明を与えるように誘導されると、システムはより効果的であることが示される。 コードは \url{https://github.com/neuralmind-ai/visconde} で入手できる。

関連論文リスト

• Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems [124.82815637571413]
  我々は、文書のHaystackを合成する手順を設計し、特定のテキストが文書間で繰り返されることを保証します。 すると、"Summary of a Haystack"(SummHay)タスクは、Haystackを処理し、クエリ、関連する洞察を特定し、ソースドキュメントを正確に引用する要約を生成するシステムを必要とする。
  論文  参考訳（メタデータ） (2024-07-01T15:23:42Z)
• DAPR: A Benchmark on Document-Aware Passage Retrieval [57.45793782107218]
  我々は,このタスクemphDocument-Aware Passage Retrieval (DAPR)を提案する。 State-of-The-Art(SoTA)パスレトリバーのエラーを分析しながら、大きなエラー(53.5%)は文書コンテキストの欠如に起因する。 提案するベンチマークにより,検索システムの開発・比較を今後行うことができる。
  論文  参考訳（メタデータ） (2023-05-23T10:39:57Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• Zero-Shot Open-Book Question Answering [0.0]
  本稿では,ドメイン固有のラベル付きデータ(ゼロショット)を持たない技術文書から自然言語質問に答えるソリューションを提案する。 私たちは、AWSのテクニカルドキュメントに関する実際の顧客からの質問に基づいて、オープンブックのQAのための新しいテストデータセットを導入しています。 ドメイン固有のトレーニングなしで、49%のF1と39%の正確なスコア(EM)をエンドツーエンドで達成できたのです。
  論文  参考訳（メタデータ） (2021-11-22T20:38:41Z)
• When Retriever-Reader Meets Scenario-Based Multiple-Choice Questions [15.528174963480614]
  そこで本研究では,単語重み付け機構を用いて関連ラベルのみを暗黙的に管理する,QAVESと呼ばれる共同レトリバー・リーダーモデルを提案する。 QAVESは3つのSQAデータセットにおいて、複数の質問に対する強いベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2021-08-31T14:32:04Z)
• End-to-End Multihop Retrieval for Compositional Question Answering over Long Documents [93.55268936974971]
  本稿では,長い文書の合成問題に答えるマルチホップ検索手法であるDocHopperを提案する。 各ステップでDocHopperは文書から段落や文を検索し、検索した結果とクエリを混合し、次のステップでクエリを更新する。 文書構造を活用すれば、長い文書の質問応答や検索性能を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-06-01T03:13:35Z)
• ComQA:Compositional Question Answering via Hierarchical Graph Neural Networks [47.12013005600986]
  我々は,120万以上の人間ラベル質問を含む大規模構成質問応答データセットを提案する。 ComQA問題に対処するために,低レベル語から高レベル語までの文書を表す階層型グラフニューラルネットワークを提案する。 提案モデルは,先行する機械読解法や事前学習法に比べて大幅に改善する。
  論文  参考訳（メタデータ） (2021-01-16T08:23:27Z)
• Open Question Answering over Tables and Text [55.8412170633547]
  オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。 ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。 我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
  論文  参考訳（メタデータ） (2020-10-20T16:48:14Z)
• Revisiting the Open-Domain Question Answering Pipeline [0.23204178451683266]
  本稿では,新たなマルチステージパイプラインで構成されるオープンドメインQAシステムであるMindstoneについて述べる。 我々は,新しいパイプラインが低解像度ラベルの使用を可能にし,様々なタイミング要求を満たすように容易に調整できることを示す。
  論文  参考訳（メタデータ） (2020-09-02T09:34:14Z)
• NeuralQA: A Usable Library for Question Answering (Contextual Query Expansion + BERT) on Large Datasets [0.6091702876917281]
  NeuralQAは、大規模なデータセットに対する質問回答(QA)のためのライブラリである。 既存のインフラストラクチャ(例えば、HuggingFace Transformers APIでトレーニングされたElasticSearchインスタンスやリーダモデル)と統合され、QAサブタスクに有用なデフォルトを提供する。 NeuralQAのコードとドキュメントはGithubでオープンソースとして公開されている。
  論文  参考訳（メタデータ） (2020-07-30T03:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。