論文の概要: Interleaving Retrieval with Chain-of-Thought Reasoning for
Knowledge-Intensive Multi-Step Questions
- arxiv url: http://arxiv.org/abs/2212.10509v2
- Date: Fri, 23 Jun 2023 00:59:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-26 17:35:19.889775
- Title: Interleaving Retrieval with Chain-of-Thought Reasoning for
Knowledge-Intensive Multi-Step Questions
- Title(参考訳): 知識集約型多段階質問に対する連鎖的推論による検索
- Authors: Harsh Trivedi, Niranjan Balasubramanian, Tushar Khot, Ashish Sabharwal
- Abstract要約: マルチステップ質問応答のための新しいアプローチであるIRCoTを提案する。
CoTのステップで検索をインターリーブし、CoTで検索を誘導し、検索結果を用いてCoTを改善する。
- 参考スコア(独自算出の注目度): 50.114651561111245
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompting-based large language models (LLMs) are surprisingly powerful at
generating natural language reasoning steps or Chains-of-Thoughts (CoT) for
multi-step question answering (QA). They struggle, however, when the necessary
knowledge is either unavailable to the LLM or not up-to-date within its
parameters. While using the question to retrieve relevant text from an external
knowledge source helps LLMs, we observe that this one-step retrieve-and-read
approach is insufficient for multi-step QA. Here, \textit{what to retrieve}
depends on \textit{what has already been derived}, which in turn may depend on
\textit{what was previously retrieved}. To address this, we propose IRCoT, a
new approach for multi-step QA that interleaves retrieval with steps
(sentences) in a CoT, guiding the retrieval with CoT and in turn using
retrieved results to improve CoT. Using IRCoT with GPT3 substantially improves
retrieval (up to 21 points) as well as downstream QA (up to 15 points) on four
datasets: HotpotQA, 2WikiMultihopQA, MuSiQue, and IIRC. We observe similar
substantial gains in out-of-distribution (OOD) settings as well as with much
smaller models such as Flan-T5-large without additional training. IRCoT reduces
model hallucination, resulting in factually more accurate CoT reasoning. Code,
data, and prompts are available at \url{https://github.com/stonybrooknlp/ircot}
- Abstract(参考訳): プロンプトベースの大規模言語モデル(LLM)は、自然言語推論ステップや多段階質問応答(QA)のためのChains-of-Thoughts(CoT)を生成するのに驚くほど強力です。
しかし、LLMでは必要な知識が利用できないか、あるいはパラメータ内で最新でない場合、それらは苦労する。
質問を用いて外部知識ソースから関連テキストを検索することはLLMの助けとなるが、この一段階の検索・読み取りアプローチは多段階のQAには不十分である。
ここで、\textit{what to retrieve} は \textit{what have already been derived} に依存する。
そこで本研究では,CoTにおける検索とステップ(文)をインターリーブする多段階QAのための新しいアプローチであるIRCoTを提案する。
GPT3でIRCoTを使用することで、HotpotQA、2WikiMultihopQA、MuSiQue、IIRCの4つのデータセットでの検索(最大21ポイント)および下流QA(最大15ポイント)を大幅に改善する。
オフ・オブ・ディストリビューション(OOD)設定でも,Flan-T5-largeのようなより小さなモデルでも,追加のトレーニングを必要とせずに,同様の実質的な向上が観察できる。
IRCoTはモデル幻覚を減少させ、事実上より正確なCoT推論をもたらす。
コード、データ、プロンプトは \url{https://github.com/stonybrooknlp/ircot} で入手できる。
関連論文リスト
- Chain-of-Thought Reasoning Without Prompting [48.351650919819456]
CoT推論パスは、テキストデコーディングプロセスを変更するだけで、事前訓練されたLCMから引き出すことができる。
我々は、デコードパスにおけるCoTの存在は、モデルのデコードされた回答に対する高い信頼と相関していることを観察する。
論文 参考訳(メタデータ) (2024-02-15T18:55:41Z) - Probabilistic Tree-of-thought Reasoning for Answering
Knowledge-intensive Complex Questions [93.40614719648386]
大規模言語モデル(LLM)は、知識集約的な複雑な質問にチェーン・オブ・シント(CoT)推論で答えることができる。
最近の研究は、CoT推論を強化するための外部知識の回収に向けられている。
確率的ツリー・オブ・シント推論(ProbTree)という新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-11-23T12:52:37Z) - SEMQA: Semi-Extractive Multi-Source Question Answering [98.76021956492697]
本稿では,複数ソースを半抽出的に要約することで,複数の質問に答える新しいQAタスクを提案する。
この種の最初のデータセットであるQuoteSumを作成し、自然および生成された質問に対する人間による半抽出的な回答を提示する。
論文 参考訳(メタデータ) (2023-11-08T18:46:32Z) - Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [84.1784903043884]
Open-Domain Question Answering (ODQA) は、背景文書を明示的に提供せずにファクトイドの質問に答えることを目的としている。
ゼロショット設定では、Retriever-Readersのようなカスタマイズされたモデルをトレーニングするデータがないため、このタスクはより難しい。
本稿では,大規模言語モデルのパラメータに格納された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-16T18:23:43Z) - Ask Question First for Enhancing Lifelong Language Learning [12.766084031891815]
Lifelong言語学習は、従来のタスクの知識を維持しながら、NLPタスクをストリームすることを目的としている。
これまでの研究では、すべてのデータを"begin token (textitB) + context (textitC) + question (textitQ + answer (textitA)"として、さまざまなタスクにフォーマットすることを検討してきた。
本稿では,Ask Question First and Replay Question (AQF-RQ)を提案する。
論文 参考訳(メタデータ) (2022-08-17T15:58:33Z) - Multifaceted Improvements for Conversational Open-Domain Question
Answering [54.913313912927045]
対話型オープンドメイン質問回答(MICQA)のための多面的改善フレームワークを提案する。
第一に、提案したKL分割に基づく正規化は、検索と解答のためのより良い質問理解をもたらすことができる。
第二に、追加されたポストランカモジュールは、より関連性の高いパスをトップにプッシュし、2アスペクトの制約で読者に選択できる。
第3に、十分に設計されたカリキュラム学習戦略は、訓練と推論の黄金の通路設定のギャップを効果的に狭め、黄金の通路支援なしで真の答えを見つけることを奨励する。
論文 参考訳(メタデータ) (2022-04-01T07:54:27Z) - New Methods & Metrics for LFQA tasks [0.0]
長い形式の質問応答タスクでは、クエリに関連する文書を検索し、それを使用して段落長の回答を作成する必要がある。
この作業では、トレイン/バリデーション/テストのデータセットのオーバーラップ、自動メトリクスの欠如、検索したドキュメントに“接地”されていない回答の生成に対処する。
論文 参考訳(メタデータ) (2021-12-26T18:38:05Z) - Calculating Question Similarity is Enough:A New Method for KBQA Tasks [8.056701645706404]
本稿では、事前学習言語モデル(PLM)と知識グラフ(KG)を用いたコーパス生成-検索手法(CGRM)を提案する。
まず,mT5モデルに基づいて,知識マスキング言語モデリングと質問生成という2つの新しい事前学習タスクを設計した。
第2に、一連のルールで知識グラフのトリプルを前処理した後、kT5モデルは、処理されたトリプルに基づいて自然言語QAペアを生成する。
論文 参考訳(メタデータ) (2021-11-15T10:31:46Z) - Open Question Answering over Tables and Text [55.8412170633547]
オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。
ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。
我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
論文 参考訳(メタデータ) (2020-10-20T16:48:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。