論文の概要: Probabilistic Tree-of-thought Reasoning for Answering
Knowledge-intensive Complex Questions
- arxiv url: http://arxiv.org/abs/2311.13982v1
- Date: Thu, 23 Nov 2023 12:52:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-27 23:43:00.449154
- Title: Probabilistic Tree-of-thought Reasoning for Answering
Knowledge-intensive Complex Questions
- Title(参考訳): 知識集約型質問に対する確率的思考木推論
- Authors: Shulin Cao, Jiajie Zhang, Jiaxin Shi, Xin Lv, Zijun Yao, Qi Tian,
Juanzi Li, Lei Hou
- Abstract要約: 大規模言語モデル(LLM)は、知識集約的な複雑な質問にチェーン・オブ・シント(CoT)推論で答えることができる。
最近の研究は、CoT推論を強化するための外部知識の回収に向けられている。
確率的ツリー・オブ・シント推論(ProbTree)という新しいアプローチを提案する。
- 参考スコア(独自算出の注目度): 93.40614719648386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are capable of answering knowledge-intensive
complex questions with chain-of-thought (CoT) reasoning. However, they tend to
generate factually incorrect reasoning steps when the required knowledge is not
available or up-to-date in models' parameters. Recent works turn to retrieving
external knowledge to augment CoT reasoning. Despite being promising, these
chain-based methods suffer from: 1) Negative retrieval. Unnecessary or
incorrect retrieval may mislead the reasoning; 2) Limited sight. Lacking the
ability to look backward or forward, a local error in one step will propagate
along the chain.
In this paper, we propose a novel approach: Probabilistic Tree-of-thought
Reasoning (ProbTree). First, LLMs translate a complex question into a query
tree, in which each non-root node denotes a sub-question of its parent node.
Then, probabilistic reasoning is conducted over the tree, by solving questions
from leaf to root considering the confidence of both question decomposing and
answering. During reasoning, for leaf nodes, LLMs choose a more confident
answer from Closed-book QA that employs parametric knowledge and Open-book QA
that employs retrieved external knowledge, thus eliminating the negative
retrieval problem. For non-leaf nodes, with the hierarchical structure, LLMs
have broader sights and are able to globally reason with the information from
child nodes, thus recovering from local errors. The experiments on three
Complex QA datasets under the open-domain setting show that our approach
outperforms SOTA methods significantly, demonstrating the effect of
probabilistic tree-of-thought reasoning.
- Abstract(参考訳): 大規模言語モデル(LLM)は、知識集約的な複雑な質問にチェーン・オブ・シント(CoT)推論で答えることができる。
しかし、モデルパラメーターで必要な知識が利用できない場合や最新の場合、実際には誤った推論ステップを生成する傾向がある。
最近の研究は、CoT推論を強化するための外部知識の回収に向けられている。
有望であるにも拘わらず、これらのチェーンベースの方法は:
1)否定的検索。
不要又は不正確な検索は,その推論を誤解することができる。
2) 視界が限られている。
後方または前方を見る能力が欠如しているため、あるステップで局所的なエラーが連鎖に沿って伝播する。
本稿では,確率的ツリー・オブ・シント推論(ProbTree)という新しいアプローチを提案する。
まず、LLMは複雑な質問をクエリツリーに変換し、各非ルートノードはその親ノードのサブクエストを表す。
そして、木の上に確率論的推論を行い、問合せと解答の両方の信頼性を考慮して葉から根まで質問を解く。
推論中、葉ノードでは、パラメトリック知識を用いたクローズドブックQAと、検索した外部知識を用いたオープンブックQAからより確実な回答を選択し、負の検索問題を除去する。
階層構造を持つ非リードノードの場合、llmはより広い視野を持ち、子ノードからの情報をグローバルに推論できるため、ローカルエラーから回復することができる。
オープンドメイン設定下での3つの複雑なQAデータセット実験により,本手法がSOTA法よりも優れており,確率的ツリー・オブ・シークレット推論の効果が示された。
関連論文リスト
- Tree of Reviews: A Tree-based Dynamic Iterative Retrieval Framework for Multi-hop Question Answering [0.18849131083278733]
マルチホップ質問応答のための動的検索フレームワークであるTree of Reviews (ToR)を提案する。
ToRは検索および応答生成の両方において最先端の性能を達成する。
論文 参考訳(メタデータ) (2024-04-22T09:25:05Z) - keqing: knowledge-based question answering is a nature chain-of-thought
mentor of LLM [27.76205400533089]
大規模言語モデル(LLM)は様々な自然言語処理(NLP)タスク、特に質問応答において顕著な性能を示した。
本稿では,知識グラフ上の質問関連構造化情報を取得するために,ChatGPTなどのLLMを支援する新しいフレームワークを提案する。
KBQAデータセットの実験結果から,Keqingは競合性能を達成でき,各質問に答える論理を説明できることがわかった。
論文 参考訳(メタデータ) (2023-12-31T08:39:04Z) - CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。
ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
論文 参考訳(メタデータ) (2023-12-07T15:12:12Z) - Open-Set Knowledge-Based Visual Question Answering with Inference Paths [79.55742631375063]
知識に基づく視覚的質問回答(KB-VQA)の目的は、外部知識ベースの助けを借りて質問に対する正しい回答を提供することである。
KB-VQA, Graph pATH ranker (GATHER for brevity) の新しいレトリバーランカパラダイムを提案する。
具体的には、グラフの構築、プルーニング、パスレベルのランク付けが含まれており、正確な回答を検索するだけでなく、推論パスを提供して推論プロセスを説明する。
論文 参考訳(メタデータ) (2023-10-12T09:12:50Z) - Reasoning over Hierarchical Question Decomposition Tree for Explainable
Question Answering [83.74210749046551]
ヘテロジニアス知識統合のための質問分解手法を提案する。
階層的質問分解木(RoHT)を用いた新しい2段階XQAフレームワークを提案する。
複雑なQAデータセットKQA ProとMusiqueの実験は、我々のフレームワークがSOTAメソッドを著しく上回っていることを示している。
論文 参考訳(メタデータ) (2023-05-24T11:45:59Z) - Search-in-the-Chain: Interactively Enhancing Large Language Models with
Search for Knowledge-intensive Tasks [121.74957524305283]
本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。
実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
論文 参考訳(メタデータ) (2023-04-28T10:15:25Z) - RLET: A Reinforcement Learning Based Approach for Explainable QA with
Entailment Trees [47.745218107037786]
本稿では,強化学習に基づくEntailment Tree生成フレームワークであるRLETを提案する。
RLETは文の選択と推論生成モジュールによる単一ステップ推論を反復的に行う。
EntailmentBankデータセットの3つの設定の実験では、RLフレームワークを使用することの強みが示されている。
論文 参考訳(メタデータ) (2022-10-31T06:45:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。