論文の概要: HiQA: A Hierarchical Contextual Augmentation RAG for Massive Documents
QA
- arxiv url: http://arxiv.org/abs/2402.01767v1
- Date: Thu, 1 Feb 2024 02:24:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 02:17:26.223804
- Title: HiQA: A Hierarchical Contextual Augmentation RAG for Massive Documents
QA
- Title(参考訳): HiQA: 大規模ドキュメントQAのための階層的コンテキスト拡張RAG
- Authors: Xinyue Chen, Pengyu Gao, Jiangjiang Song, Xiaoyang Tan
- Abstract要約: HiQAは、カスケードメタデータをコンテンツとマルチルート検索機構に統合する。
MDQAを評価・研究するためのベンチマークMasQAをリリースする。
- 参考スコア(独自算出の注目度): 14.20201554222619
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As language model agents leveraging external tools rapidly evolve,
significant progress has been made in question-answering(QA) methodologies
utilizing supplementary documents and the Retrieval-Augmented Generation (RAG)
approach. This advancement has improved the response quality of language models
and alleviates the appearance of hallucination. However, these methods exhibit
limited retrieval accuracy when faced with massive indistinguishable documents,
presenting notable challenges in their practical application. In response to
these emerging challenges, we present HiQA, an advanced framework for
multi-document question-answering (MDQA) that integrates cascading metadata
into content as well as a multi-route retrieval mechanism. We also release a
benchmark called MasQA to evaluate and research in MDQA. Finally, HiQA
demonstrates the state-of-the-art performance in multi-document environments.
- Abstract(参考訳): 外部ツールを活用した言語モデルエージェントが急速に進化するにつれて、補足文書を利用した質問応答(QA)手法や検索・拡張生成(RAG)手法において大きな進歩が見られた。
この進歩は言語モデルの応答品質を改善し、幻覚の出現を緩和した。
しかし,これらの手法は,大量の文書に直面する場合の検索精度が限られており,実用上の課題が指摘されている。
これらの課題に対応するため、我々は、多経路検索機構とともに、カスケードメタデータをコンテンツに統合するMDQA(Multi-document Question-Awering)の高度なフレームワークであるHiQAを提案する。
また、MDQAの評価と研究を行うMasQAというベンチマークもリリースしました。
最後に、HiQAはマルチドキュメント環境における最先端のパフォーマンスを示す。
関連論文リスト
- SEMQA: Semi-Extractive Multi-Source Question Answering [98.76021956492697]
本稿では,複数ソースを半抽出的に要約することで,複数の質問に答える新しいQAタスクを提案する。
この種の最初のデータセットであるQuoteSumを作成し、自然および生成された質問に対する人間による半抽出的な回答を提示する。
論文 参考訳(メタデータ) (2023-11-08T18:46:32Z) - QontSum: On Contrasting Salient Content for Query-focused Summarization [22.738731393540633]
クエリ中心の要約(QFS)は、特定のクエリに対処する要約を生成する自然言語処理において難しいタスクである。
本稿では,GARにおけるQFSの役割について述べる。
コントラスト学習を利用したQFSの新しい手法であるQontSumを提案する。
論文 参考訳(メタデータ) (2023-07-14T19:25:35Z) - Towards Diverse and Effective Question-Answer Pair Generation from
Children Storybooks [3.850557558248366]
本稿では,質問文と暗黙的/明示的回答を生成することにより,QA型の多様性を高めるフレームワークを提案する。
本フレームワークは,QFSベースの応答生成器,繰り返しQA生成器,関連性を考慮したランク付け器を備える。
論文 参考訳(メタデータ) (2023-06-11T06:55:59Z) - Peek Across: Improving Multi-Document Modeling via Cross-Document
Question-Answering [49.85790367128085]
我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。
この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。
分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
論文 参考訳(メタデータ) (2023-05-24T17:48:40Z) - PrimeQA: The Prime Repository for State-of-the-Art Multilingual Question
Answering Research and Development [24.022050096797606]
PRIMEQAは、QAの再調査を民主化し、最先端(SOTA)QAメソッドの複製を容易にすることを目的とした、ワンストップのQAレポジトリである。
検索や読解といったコアQA機能と,質問生成などの補助機能をサポートする。
フロントエンドアプリケーションの構築、pub-licベンチマーク上のSOTAメソッドの複製、既存のメソッドの拡張など、さまざまなユースケースのためのエンドツーエンドツールキットとして設計されている。
論文 参考訳(メタデータ) (2023-01-23T20:43:26Z) - RoMQA: A Benchmark for Robust, Multi-evidence, Multi-answer Question
Answering [87.18962441714976]
堅牢でマルチエビデンスな質問応答(QA)のための最初のベンチマークであるRoMQAを紹介します。
我々は、最先端の大規模言語モデルをゼロショット、少数ショット、微調整設定で評価し、RoMQAが難しいことを発見した。
以上の結果から,RoMQAは大規模言語モデルにとって難しいベンチマークであり,より堅牢なQA手法を構築するための定量的なテストを提供する。
論文 参考訳(メタデータ) (2022-10-25T21:39:36Z) - Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。
我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。
我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
論文 参考訳(メタデータ) (2022-07-25T01:43:19Z) - Narrative Question Answering with Cutting-Edge Open-Domain QA
Techniques: A Comprehensive Study [45.9120218818558]
我々は,NarrativeQAデータセットについて,最先端ODQA技術を用いた実験でベンチマークを行った。
このことは、書籍のQAがもたらす課題を定量化し、発行された最先端技術がルージュ-Lの絶対的な改善として$sim$7%で進歩する。
その結果,イベント中心の質問がこのタスクを支配しており,イベント指向シナリオを扱うための既存のQAモデルの欠如を実証していることがわかった。
論文 参考訳(メタデータ) (2021-06-07T17:46:09Z) - Retrieving and Reading: A Comprehensive Survey on Open-domain Question
Answering [62.88322725956294]
OpenQAの最近の研究動向を概観し、特にニューラルMSC技術を導入したシステムに注目した。
Retriever-Reader' と呼ばれる最新の OpenQA アーキテクチャを導入し、このアーキテクチャに従うさまざまなシステムを分析します。
次に、OpenQAシステムの開発における主要な課題について議論し、一般的に使用されるベンチマークの分析を提供する。
論文 参考訳(メタデータ) (2021-01-04T04:47:46Z) - Template-Based Question Generation from Retrieved Sentences for Improved
Unsupervised Question Answering [98.48363619128108]
擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。
関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2020-04-24T17:57:45Z) - Towards Automatic Generation of Questions from Long Answers [11.198653485869935]
本稿では,従来のAQGシステムの性能評価のための新しい評価ベンチマークを提案する。
既存のAQG法の性能は,回答の長さが大きくなるにつれて著しく低下することを示した。
トランスフォーマーに基づく手法は, 従来のAQG法よりも, 自己評価や人的評価の点で優れていた。
論文 参考訳(メタデータ) (2020-04-10T16:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。