論文の概要: Autonomous Tree-search Ability of Large Language Models

• arxiv url: http://arxiv.org/abs/2310.10686v1
• Date: Sat, 14 Oct 2023 14:14:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 19:45:21.545916
• Title: Autonomous Tree-search Ability of Large Language Models
• Title（参考訳）: 大規模言語モデルの自律木探索能力
• Authors: Zheyu Zhang and Zhuorui Ye and Yikang Shen and Chuang Gan
• Abstract要約: 大規模言語モデルは、高度なプロンプト技術で顕著な推論能力に優れています。 近年の研究では、LLMがより困難な推論タスクを解くために受動的木探索を行えるように、検索ロジックを定義するために外部プログラムを活用することが提案されている。 我々は,LLMの自律木探索能力という新しい概念を提案し,正しい解を求める探索軌跡を含む応答を自動生成する。
• 参考スコア（独自算出の注目度）: 58.68735916408101
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models have excelled in remarkable reasoning capabilities with advanced prompting techniques, but they fall short on tasks that require exploration, strategic foresight, and sequential decision-making. Recent works propose to utilize external programs to define search logic, such that LLMs can perform passive tree search to solve more challenging reasoning tasks. Though impressive results have been achieved, there are several fundamental limitations of these approaches. First, passive tree searches are not efficient as they usually require multiple rounds of LLM API calls to solve one single problem. Moreover, passive search methods are not flexible since they need task-specific program designs. Then a natural question arises: can we maintain the tree-search capability of LLMs without the aid of external programs, and can still generate responses that clearly demonstrate the process of a tree-structure search? To this end, we propose a new concept called autonomous tree-search ability of LLM, which can automatically generate a response containing search trajectories for the correct answer. Concretely, we perform search trajectories using capable LLM API via a fixed system prompt, allowing them to perform autonomous tree-search (ATS) right out of the box. Experiments on 4 puzzle games demonstrate our method can achieve huge improvements. The ATS-BFS method outperforms the Chain of Thought approach by achieving an average accuracy improvement of 33%. Compared to Tree of Thoughts, it requires 65.6% or 47.7% less GPT-api cost to attain a comparable level of accuracy. Moreover, we have collected data using the ATS prompt method and fine-tuned LLaMA. This approach yield a greater improvement compared to the ones fine-tuned on CoT data. Specifically, it outperforms CoT-tuned LLaMAs by an average of 40.6% and 38.5% for LLaMA2-7B and LLaMA2-13B, respectively.
• Abstract（参考訳）: 大規模言語モデルは高度なプロンプト技術によって顕著な推論能力に優れてきたが、探索、戦略的展望、逐次的な意思決定を必要とするタスクには不足している。 近年の研究では、LLMがより困難な推論タスクを解くために受動的木探索を行えるように、外部プログラムを用いて探索論理を定義することを提案する。 素晴らしい結果が得られたが、これらのアプローチにはいくつかの基本的な制限がある。 まず、受動的木探索は、通常1つの問題を解決するために複数のLLM API呼び出しを必要とするため、効率的ではない。 さらに、タスク固有のプログラム設計を必要とするため、パッシブ検索手法は柔軟性がない。 外部プログラムを使わずにLLMのツリー検索能力を維持し、ツリー構造探索のプロセスを明確に示す応答を生成することができるのか? この目的のために,llmの自律的木探索能力という新しい概念を提案し,正しい回答に対する探索軌跡を含む応答を自動生成する。 具体的には、固定されたシステムプロンプトを介して有能なLLM APIを用いて探索軌道を実行し、自動木探索(ATS)をすぐに実行できるようにする。 4つのパズルゲームの実験は、我々の手法が大幅に改善できることを示した。 ats-bfs法は平均精度を33%向上させることで思考アプローチの連鎖を上回る。 Tree of Thoughtsと比較すると、65.6%または47.7%のGPT-apiコストで同等の精度が得られる。 さらに、ATSプロンプト法と微調整LLaMAを用いてデータを収集した。 このアプローチは、CoTデータに微調整されたものよりも改善されている。 具体的には、LLaMA2-7Bは平均40.6%、LLaMA2-13Bは38.5%である。

関連論文リスト

• A Training Data Recipe to Accelerate A* Search with Language Models [3.037409201025504]
  A*のような検索アルゴリズムを備えた大規模言語モデル(LLM)は、拡張された推論とスケーラブルな推論の約束を持っている。 我々は,A*探索アルゴリズムの要件を LLM の要件から実験的に切り離して,この課題を一般化する。 提案手法は,解を見つけるのに要する反復回数を最大15倍に削減し,壁面通過速度を最大5倍に向上させる。
  論文  参考訳（メタデータ） (2024-07-13T19:21:44Z)
• Uncertainty-Guided Optimization on Large Language Model Search Trees [42.71167208999792]
  大規模言語モデル(LLM)の復号過程における最大可能性列の探索においては,greedy や beam search などの木探索アルゴリズムが標準となっている。 LLMの遷移確率に関する事前の信念を定義し、各反復において最も有望な経路についての後続の信念を得る。 モンテカルロ木探索のような高価なシミュレーションに基づく非光学的手法とは異なり、我々の手法は信念からのサンプルのみを必要とする。
  論文  参考訳（メタデータ） (2024-07-04T14:08:50Z)
• Tree Search for Language Model Agents [69.43007235771383]
  対話型Web環境での探索と多段階計画を行うために,LMエージェントの推論時探索アルゴリズムを提案する。 我々のアプローチは、実環境空間内で機能する最優先木探索の一形態である。 現実的なWebタスクにおいて有効性を示すLMエージェントのための最初の木探索アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-01T17:07:55Z)
• LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
  本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。 GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
  論文  参考訳（メタデータ） (2024-06-29T05:14:04Z)
• Navigating the Labyrinth: Evaluating and Enhancing LLMs' Ability to Reason About Search Problems [59.72548591120689]
  我々は,11種類の検索問題を含む新しいベンチマークであるSearchBenchを紹介する。 もっとも先進的なLCMでさえ、これらの問題をエンドツーエンドのテキストで解決することができないことを示す。 LLMにその問題を解決するコードを生成するように指示することは助けになるが、GPT4のパフォーマンスは11.7%向上した。
  論文  参考訳（メタデータ） (2024-06-18T00:44:58Z)
• ReST-MCTS*: LLM Self-Training via Process Reward Guided Tree Search [50.45155830888697]
  ReST-MCTS*は、プロセス報酬ガイダンスとツリー検索MCTS*を統合し、高品質な推論トレースを収集する。 まず,ReST-MCTS*における木探索ポリシーは,従来のLCM推論基準よりも精度が高いことを示した。 次に、この木探索ポリシーによって探索されたトレースをトレーニングデータとして使用することにより、複数の反復に対して3つの言語モデルを継続的に拡張できることを示す。
  論文  参考訳（メタデータ） (2024-06-06T07:40:00Z)
• Alphazero-like Tree-Search can Guide Large Language Model Decoding and Training [37.79247073276239]
  ToT(Tree-of-Thought)やRAP(Reasoning via Planning)といった最近の研究は、LLMの推論能力を強化することを目的としている。 LLMのためのAlphaZeroライクな木探索学習フレームワーク(TS-LLM)を提案する。 学習価値関数を用いた木探索がLLM復号を導出する方法を示す。
  論文  参考訳（メタデータ） (2023-09-29T12:20:19Z)
• Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories [72.15369769265398]
  機械学習は分岐のための有望なパラダイムとして登場した。 分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。 我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
  論文  参考訳（メタデータ） (2022-05-28T06:08:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。