論文の概要: Search-in-the-Chain: Towards Accurate, Credible and Traceable Large Language Models for Knowledge-intensive Tasks

• arxiv url: http://arxiv.org/abs/2304.14732v5
• Date: Mon, 26 Jun 2023 06:39:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 23:01:02.715477
• Title: Search-in-the-Chain: Towards Accurate, Credible and Traceable Large Language Models for Knowledge-intensive Tasks
• Title（参考訳）: Search-in-the-Chain:知識集約型タスクのための精度、信頼性、トレース可能な大規模言語モデルを目指して
• Authors: Shicheng Xu, Liang Pang, Huawei Shen, Xueqi Cheng, Tat-Seng Chua
• Abstract要約: 本稿では,情報検索 (IR) と大規模言語モデル (LLM) のインタラクションのための検索・イン・ザ・チェイン (SearChain) という新しいフレームワークを提案する。 まず、LLMはChain-of-Query(CoQ)と呼ばれるグローバルな推論チェーンを生成し、各ノードはIR指向のクエリとクエリへの応答で構成される。 第2に、IRは、CoQの各ノードの回答を検証し、IRが高い信頼を与えると、取得した情報と一致しない回答を補正する。 第3に、LLMはCoQにおける不足した知識をマークすることができ、IRはこの知識を提供することができる
• 参考スコア（独自算出の注目度）: 108.17299794531348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Making the contents generated by Large Language Model (LLM) such as ChatGPT, accurate, credible and traceable is crucial, especially in complex knowledge-intensive tasks that require multi-step reasoning and each of which needs knowledge to solve. Introducing Information Retrieval (IR) to provide LLM with external knowledge is good potential to solve this problem. However, where and how to introduce IR into LLM is a big challenge. Previous work has the disadvantage that the wrong knowledge retrieved by IR misleads the LLM or breaks the reasoning chain of LLM. In this paper, we propose a novel framework called Search-in-the-Chain (SearChain) for the interaction between LLM and IR to solve the challenges. First, LLM generates the global reasoning chain called Chain-of-Query (CoQ) where each node consists of an IR-oriented query and the answer to the query. Second, IR verifies the answer of each node of CoQ, it corrects the answer that is not consistent with the retrieved information when IR gives high confidence, which improves the credibility. Third, LLM can mark its missing knowledge in CoQ and IR can provide this knowledge to LLM. These three operations improve the accuracy of LLM for complex knowledge-intensive tasks in terms of reasoning ability and knowledge. Finally, SearChain generates the reasoning process and marks references to supporting documents for each reasoning step, which improves traceability. SearChain transforms the topology of reasoning from chain to tree, which can modify the reasoning direction. Experiment shows that SearChain outperforms baselines on complex knowledge-intensive tasks including multi-hop question-answering, slot filling, fact checking, and long-form question-answering.
• Abstract（参考訳）: chatgptのような大規模言語モデル(llm)によって生成されたコンテンツの正確性、信頼性、トレーサブル性は、特に複数ステップの推論を必要とする複雑な知識集約型タスクにおいて重要である。 外部知識を LLM に提供するための情報検索 (IR) の導入は,この問題の解決に有効である。 しかし、LLMにIRを導入する方法と場所は大きな課題です。 これまでの研究では、IRが取得した誤った知識がLLMを誤解させたり、LLMの推論連鎖を壊したりするという欠点があった。 本稿では LLM と IR の相互作用を解消するための新しいフレームワークである Search-in-the-Chain (SearChain) を提案する。 まず、LLMはChain-of-Query(CoQ)と呼ばれるグローバルな推論チェーンを生成し、各ノードはIR指向のクエリとクエリへの応答で構成される。 第2に、IRは、CoQの各ノードの回答を検証し、IRが高い信頼を与えるときに取得した情報と一致しない回答を補正し、信頼性を向上させる。 第3に、LLMはCoQにおける不足した知識をマークすることができ、IRはLLMにこの知識を提供することができる。 これら3つの操作は、推論能力と知識の観点から、複雑な知識集約タスクに対するllmの精度を向上させる。 最後に、searchainは推論プロセスを生成し、各推論ステップでサポートドキュメントへの参照をマークする。 searchainは推論のトポロジーをチェーンからツリーに変換し、推論の方向を変更することができる。 実験の結果,マルチホップ質問応答,スロット充填,ファクトチェック,ロングフォーム質問応答など,複雑な知識集約タスクのベースラインを検索ainが上回っていることがわかった。

関連論文リスト

• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
  大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。 本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T05:22:56Z)
• keqing: knowledge-based question answering is a nature chain-of-thought mentor of LLM [27.76205400533089]
  大規模言語モデル(LLM)は様々な自然言語処理(NLP)タスク、特に質問応答において顕著な性能を示した。 本稿では,知識グラフ上の質問関連構造化情報を取得するために,ChatGPTなどのLLMを支援する新しいフレームワークを提案する。 KBQAデータセットの実験結果から,Keqingは競合性能を達成でき,各質問に答える論理を説明できることがわかった。
  論文  参考訳（メタデータ） (2023-12-31T08:39:04Z)
• KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph [11.808990571175269]
  大規模言語モデル(LLM)は、その強力な自然言語理解とゼロショット能力によって、様々な下流タスクにおいて優れたパフォーマンスを達成しているが、LLMは依然として知識制限に悩まされている。 本稿では,知識グラフから外部知識を効率的に正確に検索し,これらの課題に対処する新しいフレームワークであるKnowledgeNavigatorを提案する。 我々は,複数のKGQAベンチマーク上でKnowledgeNavigatorを評価し,そのフレームワークの有効性と一般化を実証した。
  論文  参考訳（メタデータ） (2023-12-26T04:22:56Z)
• Furthest Reasoning with Plan Assessment: Stable Reasoning Path with Retrieval-Augmented Large Language Models [10.04323204974924]
  MHQA(Multi-Hop Question Answering)は広く議論されているカテゴリである。 既存の手法では、推論パスと計画を生成するためにLarge Language Models (LLM) を採用している。 We propose a novel pipeline for MHQA called Furthest-Reasoning-with-Plan-Assessment (FuRePA)。
  論文  参考訳（メタデータ） (2023-09-22T10:15:13Z)
• Knowledge-Driven CoT: Exploring Faithful Reasoning in LLMs for Knowledge-intensive Question Answering [17.672572064705445]
  CoT(Chain-of-Thought)を備えた大規模言語モデル(LLM)は、様々な下流タスクにおいて顕著な推論能力を示している。 我々は、外部知識との相互作用を通じてCoTの推論トレースを検証・修正する、KD-CoT(Knowled-Driven Chain-of-Thought)というフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-25T09:23:55Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• How Can Recommender Systems Benefit from Large Language Models: A Survey [82.06729592294322]
  大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。 我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
  論文  参考訳（メタデータ） (2023-06-09T11:31:50Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。