論文の概要: Tree of Thoughts: Deliberate Problem Solving with Large Language Models

• arxiv url: http://arxiv.org/abs/2305.10601v2
• Date: Sun, 3 Dec 2023 22:50:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 23:29:48.451739
• Title: Tree of Thoughts: Deliberate Problem Solving with Large Language Models
• Title（参考訳）: tree of thoughts: 大規模言語モデルによる意図的な問題解決
• Authors: Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, Karthik Narasimhan
• Abstract要約: 言語モデル推論のための新しいフレームワーク、Tree of Thoughts (ToT)を紹介します。 ToTは、言語モデルを促進するために人気のChain of Thoughtアプローチを一般化する。 実験の結果,ToTは言語モデルの問題解決能力を大幅に向上させることがわかった。
• 参考スコア（独自算出の注目度）: 52.31950122881687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are increasingly being deployed for general problem solving across a wide range of tasks, but are still confined to token-level, left-to-right decision-making processes during inference. This means they can fall short in tasks that require exploration, strategic lookahead, or where initial decisions play a pivotal role. To surmount these challenges, we introduce a new framework for language model inference, Tree of Thoughts (ToT), which generalizes over the popular Chain of Thought approach to prompting language models, and enables exploration over coherent units of text (thoughts) that serve as intermediate steps toward problem solving. ToT allows LMs to perform deliberate decision making by considering multiple different reasoning paths and self-evaluating choices to decide the next course of action, as well as looking ahead or backtracking when necessary to make global choices. Our experiments show that ToT significantly enhances language models' problem-solving abilities on three novel tasks requiring non-trivial planning or search: Game of 24, Creative Writing, and Mini Crosswords. For instance, in Game of 24, while GPT-4 with chain-of-thought prompting only solved 4% of tasks, our method achieved a success rate of 74%. Code repo with all prompts: https://github.com/princeton-nlp/tree-of-thought-llm.
• Abstract（参考訳）: 言語モデルは、幅広いタスクにわたる一般的な問題解決のためにますますデプロイされていますが、推論の間、トークンレベル、左右の意思決定プロセスに限られています。 これはつまり,探索や戦略的検討,あるいは初期決定が重要な役割を担うタスクに不足する可能性がある,ということだ。 これらの課題を克服するために、言語モデル推論のための新しいフレームワークであるTree of Thoughts (ToT)を導入し、言語モデルを促進するために人気のChain of Thoughtアプローチを一般化し、問題解決の中間段階となる一貫性のあるテキスト単位(思想)を探索する。 ToTは、複数の異なる推論経路と、次の行動経路を決定するための自己評価選択を考慮し、グローバルな選択が必要なときに前向きや後向きの追跡を行うことで、故意の意思決定を可能にする。 実験の結果,totは,非自明な計画や探索を必要とする3つの新しいタスク(ゲームオブ24,クリエイティビティライティング,ミニクロスワード)において,言語モデルの問題解決能力を大幅に向上させることがわかった。 例えば、24のGame of 24では、チェーン・オブ・シントを持つGPT-4がタスクの4%しか解決しないのに対して、我々の手法は74%の成功率を達成した。 https://github.com/princeton-nlp/tree-of-thought-llm。

関連論文リスト

• TypedThinker: Typed Thinking Improves Large Language Model Reasoning [44.8904486513791]
  大規模言語モデルの問題解決能力を高めるフレームワークであるTypedThinkerを提案する。 TypedThinkerは、与えられた問題に対して適切な推論型を選択し、特定の推論型を効果的に実装する、という2つの主要な課題に対処する。 実験の結果、Mistral 7Bは3.4%、LLaMA3 8Bは16.7%の精度でベースラインモデルよりも大幅に改善された。
  論文  参考訳（メタデータ） (2024-10-02T18:54:45Z)
• Plan of Thoughts: Heuristic-Guided Problem Solving with Large Language Models [0.0]
  言語モデルを用いた多段階問題解決のための計画的アプローチを定式化する。 ゲーム・オブ・24のタスクにおいて,既存のアプローチに比べて89.4%の優れた成功率を示す。
  論文  参考訳（メタデータ） (2024-04-29T18:51:17Z)
• Boosting of Thoughts: Trial-and-Error Problem Solving with Large Language Models [48.43678591317425]
  Boosting of Thoughts (BoT)は、大規模言語モデルによる問題解決のための自動プロンプトフレームワークである。 我々は,BoTが他の先進的なプロンプト手法よりも高い,あるいは同等の問題解決率を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-17T00:13:36Z)
• How FaR Are Large Language Models From Agents with Theory-of-Mind? [69.41586417697732]
  大規模言語モデル(LLM)に対する新たな評価パラダイムを提案する。 T4Dは、他者の精神状態に関する推論を社会的シナリオにおける行動に結びつけるモデルを必要とする。 ゼロショットプロンプトフレームワークであるフォアシー・アンド・リフレクション(FaR)を導入し,LCMが今後の課題を予測できるように推論構造を提供する。
  論文  参考訳（メタデータ） (2023-10-04T06:47:58Z)
• SCREWS: A Modular Framework for Reasoning with Revisions [58.698199183147935]
  我々は、リビジョンを伴う推論のためのモジュラーフレームワークであるSCREWSを紹介する。 我々は、SCREWSが、共通のフレームワークの下で、いくつかの以前のアプローチを統合することを示す。 我々は,多種多様な推論タスクに基づいて,最先端のLCMを用いてフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-09-20T15:59:54Z)
• Making Large Language Models Better Reasoners with Step-Aware Verifier [49.16750018427259]
  DIVERSE(Diverse Verifier on Reasoning Step)は、言語モデルの推論能力をさらに強化する新しいアプローチである。 最新の言語モデルであるcode-davinci 上で DIVERSE を評価し,8つの推論ベンチマークのうち6つで新たな最先端結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-06T03:38:36Z)
• Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
  本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。 実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
  論文  参考訳（メタデータ） (2022-01-28T02:33:07Z)
• Learning to Generalize for Sequential Decision Making [19.075378799280728]
  本稿では,教師による模倣学習手法と,強化学習モデルを自然言語理解モデルに変換する方法を紹介する。 モデルがより速く学習し、より一般化できることを示し、模倣学習と改革の両方を活用する。
  論文  参考訳（メタデータ） (2020-10-05T18:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。