論文の概要: Modeling Uncertainty and Using Post-fusion as Fallback Improves Retrieval Augmented Generation with LLMs

• arxiv url: http://arxiv.org/abs/2308.12574v2
• Date: Mon, 8 Apr 2024 03:37:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 04:47:47.146577
• Title: Modeling Uncertainty and Using Post-fusion as Fallback Improves Retrieval Augmented Generation with LLMs
• Title（参考訳）: LLMを用いた検索向上のための不確かさのモデル化とフォールバックとしてのポストフュージョンの利用
• Authors: Ye Liu, Semih Yavuz, Rui Meng, Meghana Moorthy, Shafiq Joty, Caiming Xiong, Yingbo Zhou,
• Abstract要約: 検索されたパスと大きな言語モデル(LLM)の統合は、オープンドメインの質問応答の改善に大きく貢献している。 本稿では,検索したパスをLLMと組み合わせて回答生成を向上させる方法について検討する。
• 参考スコア（独自算出の注目度）: 80.74263278847063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of retrieved passages and large language models (LLMs), such as ChatGPTs, has significantly contributed to improving open-domain question answering. However, there is still a lack of exploration regarding the optimal approach for incorporating retrieved passages into the answer generation process. This paper aims to fill this gap by investigating different methods of combining retrieved passages with LLMs to enhance answer generation. We begin by examining the limitations of a commonly-used concatenation approach. Surprisingly, this approach often results in generating "unknown" outputs, even when the correct document is among the top-k retrieved passages. To address this issue, we explore four alternative strategies for integrating the retrieved passages with the LLMs. These strategies include two single-round methods that utilize chain-of-thought reasoning and two multi-round strategies that incorporate feedback loops. Through comprehensive analyses and experiments, we provide insightful observations on how to effectively leverage retrieved passages to enhance the answer generation capability of LLMs.
• Abstract（参考訳）: 検索されたパスとChatGPT(英語版)のような大きな言語モデル(LLM)の統合は、オープンドメインの質問応答の改善に大きく貢献している。 しかし, 解答過程に解答経路を組み込むための最適手法については, いまだ探索の欠如が残っている。 本稿では,このギャップを補うために,検索したパスをLLMと組み合わせ,回答生成を向上させる方法を検討した。 まず、一般的に使用される連結アプローチの限界について調べる。 驚くべきことに、この手法は、たとえ正しいドキュメントがトップk検索されたパスの中にあったとしても、しばしば「未知」の出力を生成する。 この問題に対処するために,検索したパスをLLMと統合するための4つの代替戦略を検討する。 これらの戦略には、連鎖推論を利用する2つのシングルラウンド手法と、フィードバックループを組み込んだ2つのマルチラウンド戦略が含まれる。 総合的な分析と実験を通じて, LLMの回答生成能力を高めるために, 検索したパスを効果的に活用する方法の洞察に富んだ観察結果を提供する。

関連論文リスト

• Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
  RAGは大規模言語モデル(LLM)を強化するために広く採用されている。 分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。 本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:47:47Z)
• Generate-then-Ground in Retrieval-Augmented Generation for Multi-hop Question Answering [45.82437926569949]
  マルチホップ質問回答タスクは、大きな言語モデルにとって大きな課題となる。 マルチホップ問題の解法として,ジェネレーションセブングラウンド(GenGround)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-21T06:26:38Z)
• Passage-specific Prompt Tuning for Passage Reranking in Question Answering with Large Language Models [11.716595438057997]
  オープンドメイン質問応答(PSPT)における再ランク付けのためのパス固有プロンプトチューニングを提案する。 PSPTは、学習可能なパス固有のソフトプロンプトを微調整するパラメータ効率の手法である。 我々は,Llama-2-chat-7Bモデルを用いた3つの公開領域質問応答データセットの広範な実験を行った。
  論文  参考訳（メタデータ） (2024-05-31T07:43:42Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• Effective Large Language Model Adaptation for Improved Grounding and Citation Generation [48.07830615309543]
  本稿では,検索した文の応答を基底にして,引用を提供することにより,大規模言語モデル(LLM)の改善に焦点を当てる。 我々は、全体論的観点から基盤を改善する新しいフレームワーク AGREE を提案する。 我々のフレームワークは, LLMを調整し, その要求を自己評価し, 検索した文書に正確な引用を提供する。
  論文  参考訳（メタデータ） (2023-11-16T03:22:25Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
  既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。 CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。 提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
  論文  参考訳（メタデータ） (2023-09-12T14:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。