論文の概要: Generate-then-Ground in Retrieval-Augmented Generation for Multi-hop Question Answering
- arxiv url: http://arxiv.org/abs/2406.14891v1
- Date: Fri, 21 Jun 2024 06:26:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 14:33:07.208143
- Title: Generate-then-Ground in Retrieval-Augmented Generation for Multi-hop Question Answering
- Title(参考訳): マルチホップ質問応答のための検索機能付きジェネレーションゲーム
- Authors: Zhengliang Shi, Shuo Zhang, Weiwei Sun, Shen Gao, Pengjie Ren, Zhumin Chen, Zhaochun Ren,
- Abstract要約: マルチホップ質問回答タスクは、大きな言語モデルにとって大きな課題となる。
マルチホップ問題の解法として,ジェネレーションセブングラウンド(GenGround)フレームワークを提案する。
- 参考スコア(独自算出の注目度): 47.51935510093668
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-Hop Question Answering (MHQA) tasks present a significant challenge for large language models (LLMs) due to the intensive knowledge required. Current solutions, like Retrieval-Augmented Generation, typically retrieve potential documents from an external corpus to read an answer. However, the performance of this retrieve-then-read paradigm is constrained by the retriever and the inevitable noise in the retrieved documents. To mitigate these challenges, we introduce a novel generate-then-ground (GenGround) framework, synergizing the parametric knowledge of LLMs and external documents to solve a multi-hop question. GenGround empowers LLMs to alternate two phases until the final answer is derived: (1) formulate a simpler, single-hop question and directly generate the answer; (2) ground the question-answer pair in retrieved documents, amending any wrong predictions in the answer. We also propose an instructional grounding distillation method to generalize our method into smaller models. Extensive experiments conducted on four datasets illustrate the superiority of our method.
- Abstract(参考訳): MHQA(Multi-Hop Question Answering)タスクは、大量の知識を必要とするため、大規模言語モデル(LLM)にとって大きな課題となる。
Retrieval-Augmented Generationのような現在のソリューションは、通常、外部のコーパスから潜在的なドキュメントを取得して、回答を読む。
しかし、この検索テーマのパラダイムの性能は、検索者によって制約され、検索された文書のノイズは避けられない。
これらの課題を軽減するために,LLMと外部文書のパラメトリック知識を相乗化して,マルチホップ問題を解決する新しい生成テーマ(GenGround)フレームワークを導入する。
GenGroundは、最終回答が導出されるまでLLMに2つのフェーズを交互に行う権限を与えている: 1) より単純でシングルホップな質問を定式化し、直接回答を生成する; (2) 検索した文書に質問と回答のペアを接地し、答えの間違った予測を修正する。
また,本手法をより小さなモデルに一般化する指導的接地蒸留法を提案する。
4つのデータセットで実施した大規模な実験は,本手法の優位性を示している。
関連論文リスト
- Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent [102.31558123570437]
マルチモーダル大規模言語モデル(MLLM)に固有の「ハロシン化」問題を緩和する上で,mRAG(Multimodal Retrieval Augmented Generation)が重要な役割を果たしている。
マルチモーダル検索のための自己適応型計画エージェントOmniSearchを提案する。
論文 参考訳(メタデータ) (2024-11-05T09:27:21Z) - Hierarchical Retrieval-Augmented Generation Model with Rethink for Multi-hop Question Answering [24.71247954169364]
マルチホップ質問回答 (Multi-hop Question Answering, QA) は、複雑な質問を解決するために複数の情報を統合することで複雑な推論を必要とする。
既存のQAシステムは、時代遅れの情報、コンテキストウィンドウの長さ制限、精度-量トレードオフといった課題に直面する。
本稿では,Decomposer,Definer,Retriever,Filter,Summarizerの5つのキーモジュールからなる,階層型検索拡張生成モデル(HiRAG)を提案する。
論文 参考訳(メタデータ) (2024-08-20T09:29:31Z) - Retrieve, Summarize, Plan: Advancing Multi-hop Question Answering with an Iterative Approach [6.549143816134531]
二重機能要約器を備えたReSPと呼ばれる新しい反復RAG法を提案する。
マルチホップ質問応答HotpotQAと2WikiMultihopQAの実験結果から,本手法が最先端技術よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-07-18T02:19:00Z) - GenSco: Can Question Decomposition based Passage Alignment improve Question Answering? [1.5776201492893507]
ジェンスコ(GenSco)は,マルチホップ質問の予測分解に基づく経路選択手法である。
広範に確立された3つのマルチホップ質問応答データセットについて評価した。
論文 参考訳(メタデータ) (2024-07-14T15:25:08Z) - Modeling Uncertainty and Using Post-fusion as Fallback Improves Retrieval Augmented Generation with LLMs [80.74263278847063]
検索されたパスと大きな言語モデル(LLM)の統合は、オープンドメインの質問応答の改善に大きく貢献している。
本稿では,検索したパスをLLMと組み合わせて回答生成を向上させる方法について検討する。
論文 参考訳(メタデータ) (2023-08-24T05:26:54Z) - Recitation-Augmented Language Models [85.30591349383849]
知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。
具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
論文 参考訳(メタデータ) (2022-10-04T00:49:20Z) - Generate rather than Retrieve: Large Language Models are Strong Context
Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。
我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文 参考訳(メタデータ) (2022-09-21T01:30:59Z) - Weakly Supervised Pre-Training for Multi-Hop Retriever [23.79574380039197]
本研究では,人的努力を伴わない,弱教師付きマルチホップレトリバーの事前学習手法を提案する。
提案手法は,1)複雑な質問のベクトル表現を生成するための事前学習タスク,2)厳密なエンコーダに基づく事前学習モデル構造として,質問とサブクエストのネスト構造を生成するスケーラブルなデータ生成手法を含む。
論文 参考訳(メタデータ) (2021-06-18T08:06:02Z) - Answering Any-hop Open-domain Questions with Iterative Document
Reranking [62.76025579681472]
オープンドメインの問に答える統合QAフレームワークを提案する。
提案手法は,シングルホップおよびマルチホップのオープンドメインQAデータセットにおいて,最先端技術に匹敵する性能を継続的に達成する。
論文 参考訳(メタデータ) (2020-09-16T04:31:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。