論文の概要: Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions

• arxiv url: http://arxiv.org/abs/2212.10509v2
• Date: Fri, 23 Jun 2023 00:59:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 17:35:19.889775
• Title: Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions
• Title（参考訳）: 知識集約型多段階質問に対する連鎖的推論による検索
• Authors: Harsh Trivedi, Niranjan Balasubramanian, Tushar Khot, Ashish Sabharwal
• Abstract要約: マルチステップ質問応答のための新しいアプローチであるIRCoTを提案する。 CoTのステップで検索をインターリーブし、CoTで検索を誘導し、検索結果を用いてCoTを改善する。
• 参考スコア（独自算出の注目度）: 50.114651561111245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompting-based large language models (LLMs) are surprisingly powerful at generating natural language reasoning steps or Chains-of-Thoughts (CoT) for multi-step question answering (QA). They struggle, however, when the necessary knowledge is either unavailable to the LLM or not up-to-date within its parameters. While using the question to retrieve relevant text from an external knowledge source helps LLMs, we observe that this one-step retrieve-and-read approach is insufficient for multi-step QA. Here, \textit{what to retrieve} depends on \textit{what has already been derived}, which in turn may depend on \textit{what was previously retrieved}. To address this, we propose IRCoT, a new approach for multi-step QA that interleaves retrieval with steps (sentences) in a CoT, guiding the retrieval with CoT and in turn using retrieved results to improve CoT. Using IRCoT with GPT3 substantially improves retrieval (up to 21 points) as well as downstream QA (up to 15 points) on four datasets: HotpotQA, 2WikiMultihopQA, MuSiQue, and IIRC. We observe similar substantial gains in out-of-distribution (OOD) settings as well as with much smaller models such as Flan-T5-large without additional training. IRCoT reduces model hallucination, resulting in factually more accurate CoT reasoning. Code, data, and prompts are available at \url{https://github.com/stonybrooknlp/ircot}
• Abstract（参考訳）: プロンプトベースの大規模言語モデル(LLM)は、自然言語推論ステップや多段階質問応答(QA)のためのChains-of-Thoughts(CoT)を生成するのに驚くほど強力です。 しかし、LLMでは必要な知識が利用できないか、あるいはパラメータ内で最新でない場合、それらは苦労する。 質問を用いて外部知識ソースから関連テキストを検索することはLLMの助けとなるが、この一段階の検索・読み取りアプローチは多段階のQAには不十分である。 ここで、\textit{what to retrieve} は \textit{what have already been derived} に依存する。 そこで本研究では,CoTにおける検索とステップ(文)をインターリーブする多段階QAのための新しいアプローチであるIRCoTを提案する。 GPT3でIRCoTを使用することで、HotpotQA、2WikiMultihopQA、MuSiQue、IIRCの4つのデータセットでの検索(最大21ポイント)および下流QA(最大15ポイント)を大幅に改善する。 オフ・オブ・ディストリビューション(OOD)設定でも,Flan-T5-largeのようなより小さなモデルでも,追加のトレーニングを必要とせずに,同様の実質的な向上が観察できる。 IRCoTはモデル幻覚を減少させ、事実上より正確なCoT推論をもたらす。 コード、データ、プロンプトは \url{https://github.com/stonybrooknlp/ircot} で入手できる。

関連論文リスト

• HOLMES: Hyper-Relational Knowledge Graphs for Multi-hop Question Answering using LLMs [9.559336828884808]
  大規模言語モデル(LLM)は、単純な(シングルホップ)質問に答えるには適しています。 質問の複雑さが増すにつれて、LLMの性能は低下する。 最近の手法では、構造化知識三重項を原文に組み込むことで、この負担を軽減しようとしている。 本稿では,知識グラフ(KG)を用いてコンテキスト認識し,クエリ関連情報を含むように蒸留する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T05:22:49Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• MFORT-QA: Multi-hop Few-shot Open Rich Table Question Answering [3.1651118728570635]
  今日の急成長する業界では、専門家は大量の文書を要約し、毎日重要な情報を抽出するという課題に直面している。 この課題に対処するために、テーブル質問回答(QA)のアプローチを開発し、関連する情報を抽出した。 近年のLarge Language Models (LLMs) の進歩により,プロンプトを用いて表データから情報を取り出す新たな可能性が高まっている。
  論文  参考訳（メタデータ） (2024-03-28T03:14:18Z)
• Probabilistic Tree-of-thought Reasoning for Answering Knowledge-intensive Complex Questions [93.40614719648386]
  大規模言語モデル(LLM)は、知識集約的な複雑な質問にチェーン・オブ・シント(CoT)推論で答えることができる。 最近の研究は、CoT推論を強化するための外部知識の回収に向けられている。 確率的ツリー・オブ・シント推論(ProbTree)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-23T12:52:37Z)
• Graph Elicitation for Guiding Multi-Step Reasoning in Large Language Models [16.432208223793666]
  Chain-of-Thoughtはサブクエスト生成と応答を促進させ、多段階推論機能を強化した。 本稿では,GE-Reasoning法を提案する。 提案手法は,マルチホップ質問応答ベンチマークデータセットにおいて,従来のCoTプロンプト手法とその変種よりも優れていた。
  論文  参考訳（メタデータ） (2023-11-16T10:36:08Z)
• SEMQA: Semi-Extractive Multi-Source Question Answering [94.04430035121136]
  本稿では,複数ソースを半抽出的に要約することで,複数の質問に答える新しいQAタスクを提案する。 この種の最初のデータセットであるQuoteSumを作成し、自然および生成された質問に対する人間による半抽出的な回答を提示する。
  論文  参考訳（メタデータ） (2023-11-08T18:46:32Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• Calculating Question Similarity is Enough:A New Method for KBQA Tasks [8.056701645706404]
  本稿では、事前学習言語モデル(PLM)と知識グラフ(KG)を用いたコーパス生成-検索手法(CGRM)を提案する。 まず,mT5モデルに基づいて,知識マスキング言語モデリングと質問生成という2つの新しい事前学習タスクを設計した。 第2に、一連のルールで知識グラフのトリプルを前処理した後、kT5モデルは、処理されたトリプルに基づいて自然言語QAペアを生成する。
  論文  参考訳（メタデータ） (2021-11-15T10:31:46Z)
• Open Question Answering over Tables and Text [55.8412170633547]
  オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。 ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。 我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
  論文  参考訳（メタデータ） (2020-10-20T16:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。