論文の概要: Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions

• arxiv url: http://arxiv.org/abs/2212.10509v1
• Date: Tue, 20 Dec 2022 18:26:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 15:56:54.888442
• Title: Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions
• Title（参考訳）: 知識集約型多段階質問に対する連鎖的推論による検索
• Authors: Harsh Trivedi, Niranjan Balasubramanian, Tushar Khot, Ashish Sabharwal
• Abstract要約: IRCoTは、マルチステップQAのための検索をChains-of-Thoughtsとインターリーブする新しいアプローチである。 GPT3を用いた実験では,ベースラインよりも検索(最大22点)と下流QA(最大16点)が大幅に改善した。
• 参考スコア（独自算出の注目度）: 50.114651561111245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has shown that large language models are capable of generating natural language reasoning steps or Chains-of-Thoughts (CoT) to answer a multi-step question when prompted to do so. This is insufficient, however, when the necessary knowledge is not available or up-to-date within a model's parameters. A straightforward approach to address this is to retrieve text from an external knowledge source using the question as a query and prepend it as context to the model's input. This, however, is also insufficient for multi-step QA where \textit{what to retrieve} depends on \textit{what has already been derived}. To address this issue we propose IRCoT, a new approach that interleaves retrieval with CoT for multi-step QA, guiding the retrieval with CoT and in turn using retrieved results to improve CoT. Our experiments with GPT3 show substantial improvements in retrieval (up to 22 points) and downstream QA (up to 16 points) over the baselines on four datasets: HotpotQA, 2WikiMultihopQA, MuSiQue, and IIRC. Notably, our method also works well for much smaller models such as T5-Flan-large (0.7B) without any additional training.
• Abstract（参考訳）: 最近の研究によると、大規模な言語モデルでは、自然言語推論ステップやチェーン・オブ・マインド(cot)を生成して、複数のステップの質問に答えることができる。 しかし、モデルパラメータ内で必要な知識が利用できない場合や最新の場合、これは不十分である。 これを解決するための簡単なアプローチは、質問をクエリとして使用して外部の知識ソースからテキストを取得し、モデルの入力のコンテキストとしてプリペンドすることである。 しかし、これは多段階qaでは不十分であり、 \textit{what to retrieve} は \textit{what have already derived} に依存する。 この問題に対処するため,多段階QAのための検索をCoTとインターリーブし,CoTによる検索を誘導し,検索結果を用いてCoTを改善する新しいアプローチであるIRCoTを提案する。 GPT3を用いた実験では,HotpotQA,2WikiMultihopQA,MuSiQue,IIRCの4つのデータセットのベースラインに対して,検索(最大22ポイント),下流QA(最大16ポイント)の大幅な改善が見られた。 特に,T5-Flan-large (0.7B) のようなより小さなモデルでも,追加のトレーニングを伴わずに動作可能である。

関連論文リスト

• HOLMES: Hyper-Relational Knowledge Graphs for Multi-hop Question Answering using LLMs [9.559336828884808]
  大規模言語モデル(LLM)は、単純な(シングルホップ)質問に答えるには適しています。 質問の複雑さが増すにつれて、LLMの性能は低下する。 最近の手法では、構造化知識三重項を原文に組み込むことで、この負担を軽減しようとしている。 本稿では,知識グラフ(KG)を用いてコンテキスト認識し,クエリ関連情報を含むように蒸留する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T05:22:49Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• MFORT-QA: Multi-hop Few-shot Open Rich Table Question Answering [3.1651118728570635]
  今日の急成長する業界では、専門家は大量の文書を要約し、毎日重要な情報を抽出するという課題に直面している。 この課題に対処するために、テーブル質問回答(QA)のアプローチを開発し、関連する情報を抽出した。 近年のLarge Language Models (LLMs) の進歩により,プロンプトを用いて表データから情報を取り出す新たな可能性が高まっている。
  論文  参考訳（メタデータ） (2024-03-28T03:14:18Z)
• Probabilistic Tree-of-thought Reasoning for Answering Knowledge-intensive Complex Questions [93.40614719648386]
  大規模言語モデル(LLM)は、知識集約的な複雑な質問にチェーン・オブ・シント(CoT)推論で答えることができる。 最近の研究は、CoT推論を強化するための外部知識の回収に向けられている。 確率的ツリー・オブ・シント推論(ProbTree)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-23T12:52:37Z)
• Graph Elicitation for Guiding Multi-Step Reasoning in Large Language Models [16.432208223793666]
  Chain-of-Thoughtはサブクエスト生成と応答を促進させ、多段階推論機能を強化した。 本稿では,GE-Reasoning法を提案する。 提案手法は,マルチホップ質問応答ベンチマークデータセットにおいて,従来のCoTプロンプト手法とその変種よりも優れていた。
  論文  参考訳（メタデータ） (2023-11-16T10:36:08Z)
• SEMQA: Semi-Extractive Multi-Source Question Answering [94.04430035121136]
  本稿では,複数ソースを半抽出的に要約することで,複数の質問に答える新しいQAタスクを提案する。 この種の最初のデータセットであるQuoteSumを作成し、自然および生成された質問に対する人間による半抽出的な回答を提示する。
  論文  参考訳（メタデータ） (2023-11-08T18:46:32Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• Calculating Question Similarity is Enough:A New Method for KBQA Tasks [8.056701645706404]
  本稿では、事前学習言語モデル(PLM)と知識グラフ(KG)を用いたコーパス生成-検索手法(CGRM)を提案する。 まず,mT5モデルに基づいて,知識マスキング言語モデリングと質問生成という2つの新しい事前学習タスクを設計した。 第2に、一連のルールで知識グラフのトリプルを前処理した後、kT5モデルは、処理されたトリプルに基づいて自然言語QAペアを生成する。
  論文  参考訳（メタデータ） (2021-11-15T10:31:46Z)
• Open Question Answering over Tables and Text [55.8412170633547]
  オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。 ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。 我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
  論文  参考訳（メタデータ） (2020-10-20T16:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。