論文の概要: Improving LLM Reasoning with Multi-Agent Tree-of-Thought Validator Agent
- arxiv url: http://arxiv.org/abs/2409.11527v1
- Date: Tue, 17 Sep 2024 19:54:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-19 19:59:44.509783
- Title: Improving LLM Reasoning with Multi-Agent Tree-of-Thought Validator Agent
- Title(参考訳): マルチエージェントツリー・オブ・ソートバリケータ・エージェントによるLCM推論の改善
- Authors: Fatemeh Haji, Mazal Bethany, Maryam Tabar, Jason Chiang, Anthony Rios, Peyman Najafirad,
- Abstract要約: Tree of Thoughts (ToT) 法は複雑な質問応答タスクの推論を改善する可能性を示している。
マルチエージェント推論における重要な制限は、'Reasoner'エージェントによる推論経路の浅い探索である。
ToTをベースとしたReasonerエージェントとThought Validatorエージェントを組み合わせた新しいアプローチを提案する。
提案手法は,GSM8Kデータセットを用いた場合,既存の手法と比較して優れた性能を示す。
- 参考スコア(独自算出の注目度): 9.439315294704368
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent strategies have emerged as a promising approach to enhance the reasoning abilities of Large Language Models (LLMs) by assigning specialized roles in the problem-solving process. Concurrently, Tree of Thoughts (ToT) methods have shown potential in improving reasoning for complex question-answering tasks by exploring diverse reasoning paths. A critical limitation in multi-agent reasoning is the 'Reasoner' agent's shallow exploration of reasoning paths. While ToT strategies could help mitigate this problem, they may generate flawed reasoning branches, which could harm the trustworthiness of the final answer. To leverage the strengths of both multi-agent reasoning and ToT strategies, we introduce a novel approach combining ToT-based Reasoner agents with a Thought Validator agent. Multiple Reasoner agents operate in parallel, employing ToT to explore diverse reasoning paths. The Thought Validator then scrutinizes these paths, considering a Reasoner's conclusion only if its reasoning is valid. This method enables a more robust voting strategy by discarding faulty reasoning paths, enhancing the system's ability to tackle tasks requiring systematic and trustworthy reasoning. Our method demonstrates superior performance compared to existing techniques when evaluated on the GSM8K dataset, outperforming the standard ToT strategy by an average 5.6\% across four LLMs.
- Abstract(参考訳): 大規模言語モデル(LLM)の推論能力を高めるために,問題解決プロセスにおいて特別な役割を割り当てることによって,多エージェント戦略が有望なアプローチとして登場した。
同時に、Tree of Thoughts (ToT)法は、多様な推論経路を探索することによって、複雑な質問応答タスクの推論を改善する可能性を示している。
マルチエージェント推論における重要な制限は、'Reasoner'エージェントによる推論経路の浅い探索である。
ToT戦略はこの問題を緩和するのに役立つが、それらが欠陥のある推論ブランチを生成し、最終回答の信頼性を損なう可能性がある。
ToTをベースとしたReasonerエージェントとThought Validatorエージェントを組み合わせた新しいアプローチを提案する。
複数のReasonerエージェントが並列に動作し、ToTを使用して多様な推論経路を探索する。
思考検証者はこれらの経路を精査し、推論が妥当である場合に限り、推論者の結論を考える。
この方法では、不良推論経路を破棄し、体系的で信頼できる推論を必要とする課題に対処するシステムの能力を高めることで、より堅牢な投票戦略を可能にする。
提案手法は,GSM8Kデータセットを用いた場合と比較して,従来の手法よりも優れた性能を示し,標準のToT戦略を4つのLLMで平均5.6\%上回る性能を示した。
関連論文リスト
- Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。
このアプローチは、正しい答えが少数派である場合に失敗する。
階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
論文 参考訳(メタデータ) (2024-05-21T17:12:19Z) - Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。
我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。
提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
論文 参考訳(メタデータ) (2024-04-24T17:59:48Z) - PathFinder: Guided Search over Multi-Step Reasoning Paths [80.56102301441899]
木探索に基づく推論経路生成手法であるPathFinderを提案する。
動的デコードの統合により、多様な分岐とマルチホップ推論を強化する。
我々のモデルは、大きな分岐因子を持つビームサーチに類似した複雑さを反映して、よく、長く、目に見えない推論連鎖を一般化する。
論文 参考訳(メタデータ) (2023-12-08T17:05:47Z) - Thought Propagation: An Analogical Approach to Complex Reasoning with Large Language Models [62.96551299003463]
大規模言語モデルの複雑な推論能力を高めるために,textbftextitThought Propagation (TP)を提案する。
TP はまず LLM に対して,入力問題に関連する類似問題の集合を提案し,解決するよう促す。
TPは、類似問題の結果を再利用して、新しいソリューションを直接生成したり、スクラッチから得られた初期ソリューションを修正するための知識集約的な実行プランを導出する。
論文 参考訳(メタデータ) (2023-10-06T01:40:09Z) - Towards CausalGPT: A Multi-Agent Approach for Faithful Knowledge
Reasoning via Promoting Causal Consistency in LLMs [63.26541167737355]
知識に基づく推論における忠実さと因果性を高めるための枠組みを提案する。
我々のフレームワークは、最先端のアプローチを大きなマージンで比較している。
論文 参考訳(メタデータ) (2023-08-23T04:59:21Z) - Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.89346248535922]
複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。
我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
論文 参考訳(メタデータ) (2023-05-30T15:25:45Z) - GANterfactual-RL: Understanding Reinforcement Learning Agents'
Strategies through Visual Counterfactual Explanations [0.7874708385247353]
本稿では,RLエージェントの反実的説明を生成する手法を提案する。
本手法は完全にモデルに依存しないので,いくつかの計算量において,従来の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-02-24T15:29:43Z) - Recursive Reasoning Graph for Multi-Agent Reinforcement Learning [44.890087638530524]
マルチエージェント強化学習(MARL)は、複数のエージェントが相互に相互作用するポリシーを同時に学習する効率的な方法である。
既存のアルゴリズムは、他のエージェントに対する自己行動の影響を正確に予測できない。
提案アルゴリズムはRecursive Reasoning Graph (R2G)と呼ばれ、複数のマルチエージェント粒子およびロボットゲームにおける最先端の性能を示す。
論文 参考訳(メタデータ) (2022-03-06T00:57:50Z) - Learning to Walk with Dual Agents for Knowledge Graph Reasoning [20.232810842082674]
マルチホップ推論アプローチは、短い推論パスでのみうまく機能し、パスの長さが増加するとターゲットエンティティを見逃しがちである。
そこで我々は,2つのエージェント(GIANTとDWARF)が共同でKGの上を歩き,協調して回答を検索するように訓練する,二重エージェント強化学習フレームワークを提案する。
提案手法は,クラスタレベルの経路を素早く探索するエージェント(GIANT)の1つを割り当て,別のエージェント(DWARF)にステージワイドヒントを提供することによって,長い経路における推論課題に対処する。
論文 参考訳(メタデータ) (2021-12-23T23:03:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。