論文の概要: Large Language Model Guided Tree-of-Thought
- arxiv url: http://arxiv.org/abs/2305.08291v1
- Date: Mon, 15 May 2023 01:18:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 16:27:24.334302
- Title: Large Language Model Guided Tree-of-Thought
- Title(参考訳): 大型言語モデルガイド木
- Authors: Jieyi Long
- Abstract要約: 自動回帰型大規模言語モデル(LLM)の問題解決能力向上を目的とした新しいアプローチであるTree-of-Thought(ToT)フレームワークを導入する。
ToTテクニックは、試行錯誤によって複雑な推論タスクを解決するための人間の心のアプローチにインスパイアされている。
実験結果から,ToTフレームワークはスドクパズル解法の成功率を大幅に向上させることができることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we introduce the Tree-of-Thought (ToT) framework, a novel
approach aimed at improving the problem-solving capabilities of auto-regressive
large language models (LLMs). The ToT technique is inspired by the human mind's
approach for solving complex reasoning tasks through trial and error. In this
process, the human mind explores the solution space through a tree-like thought
process, allowing for backtracking when necessary. To implement ToT as a
software system, we augment an LLM with additional modules including a prompter
agent, a checker module, a memory module, and a ToT controller. In order to
solve a given problem, these modules engage in a multi-round conversation with
the LLM. The memory module records the conversation and state history of the
problem solving process, which allows the system to backtrack to the previous
steps of the thought-process and explore other directions from there. To verify
the effectiveness of the proposed technique, we implemented a ToT-based solver
for the Sudoku Puzzle. Experimental results show that the ToT framework can
significantly increase the success rate of Sudoku puzzle solving. Our
implementation of the ToT-based Sudoku solver is available on GitHub:
\url{https://github.com/jieyilong/tree-of-thought-puzzle-solver}.
- Abstract(参考訳): 本稿では,自動回帰型大規模言語モデル(llm)の問題解決能力を向上させるための新しいアプローチであるtree-of-thought(tot)フレームワークを紹介する。
totテクニックは、試行錯誤による複雑な推論タスクを解決する人間の心のアプローチに触発されたものだ。
このプロセスでは、人間の心は木のような思考プロセスを通して解空間を探索し、必要に応じてバックトラックを可能にする。
ToT をソフトウェアシステムとして実装するために,プロンプトエージェント,チェッカーモジュール,メモリモジュール,ToT コントローラなどの追加モジュールを LLM に追加する。
与えられた問題を解決するために、これらのモジュールはllmと複数回会話する。
メモリモジュールは、問題解決プロセスの会話と状態履歴を記録し、システムは思考プロセスの前のステップにバックトラックし、そこから他の方向を探索することができる。
提案手法の有効性を検証するため,ToTを用いたSudoku Puzzleの解法を実装した。
実験結果から,ToTフレームワークはスドクパズル解法の成功率を大幅に向上させることができることがわかった。
totベースのsudokuソルバの実装は、githubで利用可能です。 \url{https://github.com/jieyilong/tree-of-thought-puzzle-solver}。
関連論文リスト
- Brain-Inspired Two-Stage Approach: Enhancing Mathematical Reasoning by
Imitating Human Thought Processes [6.512667145063511]
本稿では,人間の思考過程を模倣し,数学的推論能力を高める新しい手法であるBrainを提案する。
まず,コードLLaMA 7Bをベースとしたモデルと比較し,SOTAの性能を評価する。
第二に、計画が自然言語、コード、形式言語から明示的に抽出できることが分かる。
論文 参考訳(メタデータ) (2024-02-23T17:40:31Z) - MoTCoder: Elevating Large Language Models with Modular of Thought for
Challenging Programming Tasks [60.54009036297301]
本稿では,タスクの論理的サブタスクとサブモジュールへの分解を促進するため,MoT命令チューニングの先駆的フレームワークを提案する。
調査の結果,MoTCoderはサブモジュールの栽培と利用を通じて,生成したソリューションのモジュラリティと正しさの両方を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2023-12-26T08:49:57Z) - Large Language Model (LLM) as a System of Multiple Expert Agents: An
Approach to solve the Abstraction and Reasoning Corpus (ARC) Challenge [20.802440121949072]
我々はLarge Language Models (LLMs) を用いたARCチャレンジの解決を試みる。
入力画像を複数の適切なテキストベース抽象空間に変換する。
次に、LLMの連想力を利用して、入出力関係を導出する。
論文 参考訳(メタデータ) (2023-10-08T12:37:28Z) - Recursion of Thought: A Divide-and-Conquer Approach to Multi-Context
Reasoning with Language Models [58.41943058963672]
我々はRecursion of Thought (RoT)と呼ばれる新しい推論フレームワークを提案する。
RoTはいくつかの特別なトークンを導入し、モデルが出力してコンテキスト関連の操作をトリガーする。
GPT-3を含む複数のアーキテクチャの実験により、RoTは問題を解くためにLMの推論能力を劇的に改善した。
論文 参考訳(メタデータ) (2023-06-12T06:34:16Z) - Tree of Thoughts: Deliberate Problem Solving with Large Language Models [52.31950122881687]
言語モデル推論のための新しいフレームワーク、Tree of Thoughts (ToT)を紹介します。
ToTは、言語モデルを促進するために人気のChain of Thoughtアプローチを一般化する。
実験の結果,ToTは言語モデルの問題解決能力を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2023-05-17T23:16:17Z) - Decomposed Prompting: A Modular Approach for Solving Complex Tasks [55.42850359286304]
本稿では,より単純なサブタスクに分解することで,複雑なタスクを解くための分解プロンプトを提案する。
このモジュール構造は、各プロンプトを特定のサブタスクに最適化することを可能にする。
Decomposed Promptingの柔軟性とモジュラリティは、数発のプロンプトで先行作業より優れていることを示す。
論文 参考訳(メタデータ) (2022-10-05T17:28:20Z) - Learning by Fixing: Solving Math Word Problems with Weak Supervision [70.62896781438694]
数学用語問題(mwps)の従来のニューラルネットワークソルバは、完全な監視によって学習され、多様なソリューションを生み出すことができない。
MWPを学習するためのテキスト弱教師付きパラダイムを提案する。
この手法は最終回答のアノテーションのみを必要とし、単一の問題に対して様々な解決策を生成できる。
論文 参考訳(メタデータ) (2020-12-19T03:10:21Z) - Text Modular Networks: Learning to Decompose Tasks in the Language of
Existing Models [61.480085460269514]
本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。
我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
論文 参考訳(メタデータ) (2020-09-01T23:45:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。