論文の概要: Search-in-the-Chain: Interactively Enhancing Large Language Models with Search for Knowledge-intensive Tasks

• arxiv url: http://arxiv.org/abs/2304.14732v7
• Date: Sat, 24 Feb 2024 16:54:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 21:49:56.355781
• Title: Search-in-the-Chain: Interactively Enhancing Large Language Models with Search for Knowledge-intensive Tasks
• Title（参考訳）: Search-in-the-Chain:知識集約型タスクによる大規模言語モデルの対話的強化
• Authors: Shicheng Xu, Liang Pang, Huawei Shen, Xueqi Cheng, Tat-Seng Chua
• Abstract要約: 本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。 実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 121.74957524305283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Making the content generated by Large Language Model (LLM), accurate, credible and traceable is crucial, especially in complex knowledge-intensive tasks that require multi-step reasoning and each step needs knowledge to solve. Retrieval-augmented generation is good potential to solve this problem. However, where and how to introduce Information Retrieval (IR) to LLM is a big challenge. Previous work has the problems that wrong knowledge retrieved by IR misleads the LLM and interaction between IR and LLM breaks the reasoning chain of LLM. This paper proposes a novel framework named \textbf{Search-in-the-Chain} (SearChain) for the interaction between LLM and IR to solve the challenges. First, LLM generates the reasoning chain named Chain-of-Query (CoQ) where each node consists of an IR-oriented query-answer pair. Second, IR verifies the answer of each node of CoQ. It corrects the answer that is not consistent with the retrieved information when IR gives high confidence, which improves the credibility. Third, LLM can indicate its missing knowledge in CoQ and rely on IR to provide this knowledge to LLM. These operations improve the accuracy in terms of reasoning and knowledge. Finally, SearChain generates the reasoning process and marks references to supporting documents for each reasoning step, which improves traceability. Interaction with IR in SearChain forms a novel reasoning path based on a tree, which enables LLM to dynamically modify the direction of reasoning. Experiments show that SearChain outperforms state-of-the-art baselines on complex knowledge-intensive tasks including multi-hop Q\&A, slot filling, fact checking, and long-form Q\&A.
• Abstract（参考訳）: 大規模言語モデル(llm)が生成するコンテンツの正確性、信頼性、トレーサブル性は、特にマルチステップ推論を必要とする複雑な知識集約型タスクにおいて重要であり、各ステップには解決すべき知識が必要である。 検索型生成は、この問題を解決する良い可能性である。 しかし、IR(Information Retrieval)をLLMに導入する方法は大きな課題です。 これまでの研究では、IRが取得した誤った知識がLLMを誤解させ、IRとLLMの相互作用がLLMの推論連鎖を破る問題があった。 本稿では, LLM と IR の相互作用を解消するための新しいフレームワーク SearChain (textbf{Search-in-the-Chain}) を提案する。 まず、LLMはChain-of-Query (CoQ) と呼ばれる推論チェーンを生成し、各ノードはIR指向のクエリ-問合せペアで構成されている。 次に、IRは、CoQの各ノードの答えを検証する。 IRが高い信頼を与えると、取得した情報と一致しない回答が修正され、信頼性が向上する。 第3に、llmはcoqに欠けている知識を示し、irに依存してllmにこの知識を提供する。 これらの操作は推論と知識の観点から精度を向上させる。 最後に、searchainは推論プロセスを生成し、各推論ステップでサポートドキュメントへの参照をマークする。 SearChainにおけるIRとの相互作用は、木に基づく新しい推論経路を形成し、LLMが推論の方向を動的に変更できるようにする。 実験の結果,マルチホップq\&a,スロット充填,ファクトチェック,ロングフォームq\&aといった複雑な知識集約タスクでは,検索が最先端のベースラインを上回ることがわかった。

関連論文リスト

• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
  大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。 本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T05:22:56Z)
• keqing: knowledge-based question answering is a nature chain-of-thought mentor of LLM [27.76205400533089]
  大規模言語モデル(LLM)は様々な自然言語処理(NLP)タスク、特に質問応答において顕著な性能を示した。 本稿では,知識グラフ上の質問関連構造化情報を取得するために,ChatGPTなどのLLMを支援する新しいフレームワークを提案する。 KBQAデータセットの実験結果から,Keqingは競合性能を達成でき,各質問に答える論理を説明できることがわかった。
  論文  参考訳（メタデータ） (2023-12-31T08:39:04Z)
• KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph [11.808990571175269]
  大規模言語モデル(LLM)は、その強力な自然言語理解とゼロショット能力によって、様々な下流タスクにおいて優れたパフォーマンスを達成しているが、LLMは依然として知識制限に悩まされている。 本稿では,知識グラフから外部知識を効率的に正確に検索し,これらの課題に対処する新しいフレームワークであるKnowledgeNavigatorを提案する。 我々は,複数のKGQAベンチマーク上でKnowledgeNavigatorを評価し,そのフレームワークの有効性と一般化を実証した。
  論文  参考訳（メタデータ） (2023-12-26T04:22:56Z)
• Furthest Reasoning with Plan Assessment: Stable Reasoning Path with Retrieval-Augmented Large Language Models [10.04323204974924]
  MHQA(Multi-Hop Question Answering)は広く議論されているカテゴリである。 既存の手法では、推論パスと計画を生成するためにLarge Language Models (LLM) を採用している。 We propose a novel pipeline for MHQA called Furthest-Reasoning-with-Plan-Assessment (FuRePA)。
  論文  参考訳（メタデータ） (2023-09-22T10:15:13Z)
• Knowledge-Driven CoT: Exploring Faithful Reasoning in LLMs for Knowledge-intensive Question Answering [17.672572064705445]
  CoT(Chain-of-Thought)を備えた大規模言語モデル(LLM)は、様々な下流タスクにおいて顕著な推論能力を示している。 我々は、外部知識との相互作用を通じてCoTの推論トレースを検証・修正する、KD-CoT(Knowled-Driven Chain-of-Thought)というフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-25T09:23:55Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• How Can Recommender Systems Benefit from Large Language Models: A Survey [82.06729592294322]
  大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。 我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
  論文  参考訳（メタデータ） (2023-06-09T11:31:50Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。