論文の概要: Autonomous Tree-search Ability of Large Language Models
- arxiv url: http://arxiv.org/abs/2310.10686v1
- Date: Sat, 14 Oct 2023 14:14:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 19:45:21.545916
- Title: Autonomous Tree-search Ability of Large Language Models
- Title(参考訳): 大規模言語モデルの自律木探索能力
- Authors: Zheyu Zhang and Zhuorui Ye and Yikang Shen and Chuang Gan
- Abstract要約: 大規模言語モデルは、高度なプロンプト技術で顕著な推論能力に優れています。
近年の研究では、LLMがより困難な推論タスクを解くために受動的木探索を行えるように、検索ロジックを定義するために外部プログラムを活用することが提案されている。
我々は,LLMの自律木探索能力という新しい概念を提案し,正しい解を求める探索軌跡を含む応答を自動生成する。
- 参考スコア(独自算出の注目度): 58.68735916408101
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models have excelled in remarkable reasoning capabilities with
advanced prompting techniques, but they fall short on tasks that require
exploration, strategic foresight, and sequential decision-making. Recent works
propose to utilize external programs to define search logic, such that LLMs can
perform passive tree search to solve more challenging reasoning tasks. Though
impressive results have been achieved, there are several fundamental
limitations of these approaches. First, passive tree searches are not efficient
as they usually require multiple rounds of LLM API calls to solve one single
problem. Moreover, passive search methods are not flexible since they need
task-specific program designs. Then a natural question arises: can we maintain
the tree-search capability of LLMs without the aid of external programs, and
can still generate responses that clearly demonstrate the process of a
tree-structure search? To this end, we propose a new concept called autonomous
tree-search ability of LLM, which can automatically generate a response
containing search trajectories for the correct answer. Concretely, we perform
search trajectories using capable LLM API via a fixed system prompt, allowing
them to perform autonomous tree-search (ATS) right out of the box. Experiments
on 4 puzzle games demonstrate our method can achieve huge improvements. The
ATS-BFS method outperforms the Chain of Thought approach by achieving an
average accuracy improvement of 33%. Compared to Tree of Thoughts, it requires
65.6% or 47.7% less GPT-api cost to attain a comparable level of accuracy.
Moreover, we have collected data using the ATS prompt method and fine-tuned
LLaMA. This approach yield a greater improvement compared to the ones
fine-tuned on CoT data. Specifically, it outperforms CoT-tuned LLaMAs by an
average of 40.6% and 38.5% for LLaMA2-7B and LLaMA2-13B, respectively.
- Abstract(参考訳): 大規模言語モデルは高度なプロンプト技術によって顕著な推論能力に優れてきたが、探索、戦略的展望、逐次的な意思決定を必要とするタスクには不足している。
近年の研究では、LLMがより困難な推論タスクを解くために受動的木探索を行えるように、外部プログラムを用いて探索論理を定義することを提案する。
素晴らしい結果が得られたが、これらのアプローチにはいくつかの基本的な制限がある。
まず、受動的木探索は、通常1つの問題を解決するために複数のLLM API呼び出しを必要とするため、効率的ではない。
さらに、タスク固有のプログラム設計を必要とするため、パッシブ検索手法は柔軟性がない。
外部プログラムを使わずにLLMのツリー検索能力を維持し、ツリー構造探索のプロセスを明確に示す応答を生成することができるのか?
この目的のために,llmの自律的木探索能力という新しい概念を提案し,正しい回答に対する探索軌跡を含む応答を自動生成する。
具体的には、固定されたシステムプロンプトを介して有能なLLM APIを用いて探索軌道を実行し、自動木探索(ATS)をすぐに実行できるようにする。
4つのパズルゲームの実験は、我々の手法が大幅に改善できることを示した。
ats-bfs法は平均精度を33%向上させることで思考アプローチの連鎖を上回る。
Tree of Thoughtsと比較すると、65.6%または47.7%のGPT-apiコストで同等の精度が得られる。
さらに、ATSプロンプト法と微調整LLaMAを用いてデータを収集した。
このアプローチは、CoTデータに微調整されたものよりも改善されている。
具体的には、LLaMA2-7Bは平均40.6%、LLaMA2-13Bは38.5%である。
関連論文リスト
- Can Large Language Models Play Games? A Case Study of A Self-Play
Approach [61.15761840203145]
LLM(Large Language Models)は、インターネットからの広範なデータを利用して、幅広い事前知識を格納する。
Monte-Carlo Tree Search (MCTS)は、信頼性の高い意思決定ソリューションを提供する検索アルゴリズムである。
この研究は、ターンベースのゼロサムゲームを効率的に解決するために、MCTSセルフプレイでLLMを活性化させる革新的なアプローチを導入している。
論文 参考訳(メタデータ) (2024-03-08T19:16:29Z) - AQA-Bench: An Interactive Benchmark for Evaluating LLMs' Sequential
Reasoning Ability [29.1826948551409]
AQA-Benchは、大規模言語モデルの逐次推論能力を評価するための新しいベンチマークである。
AQA-Benchは,2進探索,深さ優先探索,幅優先探索という3つのアルゴリズムで構築されている。
我々の調査では興味深い発見がいくつか示されている。
論文 参考訳(メタデータ) (2024-02-14T18:59:33Z) - Tree Prompting: Efficient Task Adaptation without Fine-Tuning [112.71020326388029]
Tree Promptingはプロンプトの決定ツリーを構築し、複数のLMコールをリンクしてタスクを解決する。
分類データセットの実験により、Tree Promptingは競合するメソッドよりも精度が向上し、微調整と競合することが示された。
論文 参考訳(メタデータ) (2023-10-21T15:18:22Z) - ToolChain*: Efficient Action Space Navigation in Large Language Models
with A* Search [36.142986105945894]
大規模言語モデル(LLM)は強力な意思決定と計画能力を示している。
LLMエージェントのための効率的な木探索型計画アルゴリズムであるToolChain*を提案する。
アクション空間全体を決定ツリーとして定式化し、各ノードはソリューション計画に関わるAPI関数呼び出しを表現します。
論文 参考訳(メタデータ) (2023-10-20T02:24:35Z) - Alphazero-like Tree-Search can Guide Large Language Model Decoding and
Training [37.79247073276239]
ToT(Tree-of-Thought)やRAP(Reasoning via Planning)といった最近の研究は、LLMの推論能力を強化することを目的としている。
LLMのためのAlphaZeroライクな木探索学習フレームワーク(TS-LLM)を提案する。
学習価値関数を用いた木探索がLLM復号を導出する方法を示す。
論文 参考訳(メタデータ) (2023-09-29T12:20:19Z) - Furthest Reasoning with Plan Assessment: Stable Reasoning Path with
Retrieval-Augmented Large Language Models [10.04323204974924]
MHQA(Multi-Hop Question Answering)は広く議論されているカテゴリである。
既存の手法では、推論パスと計画を生成するためにLarge Language Models (LLM) を採用している。
We propose a novel pipeline for MHQA called Furthest-Reasoning-with-Plan-Assessment (FuRePA)。
論文 参考訳(メタデータ) (2023-09-22T10:15:13Z) - Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
本研究では,ALIESと呼ばれる新しい手法を提案する。
入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。
元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
論文 参考訳(メタデータ) (2023-05-24T06:16:44Z) - SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。
我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。
我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-05-16T17:55:51Z) - Reinforcement Learning for Branch-and-Bound Optimisation using
Retrospective Trajectories [72.15369769265398]
機械学習は分岐のための有望なパラダイムとして登場した。
分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。
我々は現在最先端のRL分岐アルゴリズムを3~5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
論文 参考訳(メタデータ) (2022-05-28T06:08:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。