論文の概要: Chain-of-Symbol Prompting Elicits Planning in Large Langauge Models
- arxiv url: http://arxiv.org/abs/2305.10276v1
- Date: Wed, 17 May 2023 15:07:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 15:23:04.435986
- Title: Chain-of-Symbol Prompting Elicits Planning in Large Langauge Models
- Title（参考訳）: 大規模ランガウジモデルにおけるシンボリック・プロンプト・エリシット計画
- Authors: Hanxu Hu, Hongyuan Lu, Huajian Zhang, Wai Lam, Yue Zhang
- Abstract要約: 本稿では,NLP(Natural Language Planning)という,一連の新しいタスクからなるベンチマークを提案する。
現在、ChatGPTのようなLLMには複雑な計画能力がないことが分かっています。
本稿では,凝縮した記号空間表現を持つ複雑な環境を表現するCoS(Chain-of-Symbol Prompting)を提案する。
- 参考スコア（独自算出の注目度）: 31.389768225849913
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we take the initiative to investigate the performance of LLMs
on complex planning tasks that require LLMs to understand a virtual spatial
environment simulated via natural language and act correspondingly in text. We
propose a benchmark named Natural Language Planning (NLP) composed of a set of
novel tasks: Brick World, NLVR-based Manipulations, and Natural Language
Navigation. We found that current popular LLMs such as ChatGPT still lack
abilities in complex planning. This arises a question -- do the LLMs have a
good understanding of the environments described in natural language, or maybe
other alternatives such as symbolic representations are neater and hence better
to be understood by LLMs? To this end, we propose a novel method called CoS
(Chain-of-Symbol Prompting) that represents the complex environments with
condensed symbolic spatial representations during the chained intermediate
thinking steps. CoS is easy to use and does not need additional training on
LLMs. Extensive experiments indicate that CoS clearly surpasses the performance
of the Chain-of-Thought (CoT) Prompting in all three planning tasks with even
fewer tokens used in the inputs compared with CoT on ChatGPT and InstructGPT.
The performance gain is strong, by up to 60.8% accuracy (from 31.8% to 92.6%)
on Brick World for ChatGPT. CoS also reduces the number of tokens in the prompt
obviously, by up to 65.8% of the tokens (from 407 to 139) for the intermediate
steps from demonstrations on Brick World.
- Abstract（参考訳）: 本稿では,LLMが自然言語でシミュレートされた仮想空間環境を理解し,テキストで行動するために必要な複雑な計画課題におけるLLMの性能について検討する。
我々は,Brick World,NLVRベースのマニピュレーション,自然言語ナビゲーションといった新しいタスクからなる自然言語計画(NLP)というベンチマークを提案する。
現在の一般的なLLMであるChatGPTは、複雑な計画にはまだ能力がないことがわかった。
LLMは自然言語で記述された環境をよく理解しているのか、それとも記号表現のような他の代替手段はよりきれいで、LLMで理解しやすいのか?
そこで本研究では,シンボリック空間表現が凝縮した複雑な環境を表現する新しい手法であるcos(chain-of-symbol prompting)を提案する。
CoSは使いやすく、LLMに関する追加のトレーニングは必要ありません。
大規模な実験の結果,CoT は ChatGPT と InstructGPT の CoT と比較して,入力に使用するトークンがさらに少ない3つの計画タスクにおいて,CoT プロンプトの性能を明らかに上回っていることがわかった。
Brick World for ChatGPTでは60.8%(31.8%から92.6%)の精度でパフォーマンスが向上した。
CoSはまた、ブリック・ワールドでのデモから中間段階のトークン(407から139まで)の65.8%まで、プロンプト内のトークンの数を明らかに削減している。
関連論文リスト
- From LLMs to Actions: Latent Codes as Bridges in Hierarchical Robot Control [58.72492647570062]
我々は,制限を克服する代替アーキテクチャとして,Learningable Latent Codes as Bridges (LCB)を導入した。
methodoutperforms baselines that leverage pure language as the interface layer on tasks that requires reasoning and multi-step behaviors。
論文 参考訳（メタデータ） (2024-05-08T04:14:06Z) - Natural Language as Policies: Reasoning for Coordinate-Level Embodied Control with LLMs [7.746160514029531]
ロボットのタスク計画問題に対処するLLMによる実験結果を示す。
提案手法はタスクとシーンオブジェクトのテキスト記述を取得し,自然言語推論によるタスクプランニングを定式化する。
提案手法はマルチモーダル・プロンプト・シミュレーション・ベンチマークを用いて評価する。
論文 参考訳（メタデータ） (2024-03-20T17:58:12Z) - kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest
Neighbor In-Context Learning [50.40636157214161]
Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。
LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。
本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-17T17:26:50Z) - Chain-of-Thought Tuning: Masked Language Models can also Think Step By
Step in Natural Language Understanding [25.36416774024584]
Chain-of-Thought (CoT) は、Large Language Models (LLM) を自然言語形式の中間段階を通して多段階の推論へと導く技術である。
本稿では,即時チューニングに基づく2段階の推論フレームワークとしてChain-of-Thought (CoTT)を提案する。
論文 参考訳（メタデータ） (2023-10-18T05:39:20Z) - Dynamic Planning with a LLM [15.430182858130884]
大言語モデル(LLM)はゼロショット設定で多くのNLPタスクを解くことができるが、具体化エージェントを含むアプリケーションは依然として問題である。
LLM動的プランナー(LLM-DP)は,LLMが従来のプランナーと手動で作業し,具体的課題を解決する,神経象徴的な枠組みである。
論文 参考訳（メタデータ） (2023-08-11T21:17:13Z) - SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。
我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。
我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-05-16T17:55:51Z) - PAL: Program-aided Language Models [112.94785609781503]
自然言語問題を理解するために,プログラム支援言語モデル(PaL)を提案する。
PaLはソリューションステップをPythonインタプリタのようなプログラムランタイムにオフロードする。
私たちは12のベンチマークで新しい最先端の結果を設定しました。
論文 参考訳（メタデータ） (2022-11-18T18:56:13Z) - Neuro-Symbolic Causal Language Planning with Commonsense Prompting [67.06667162430118]
言語プランニングは、より単純な低レベルステップに分解することで、複雑な高レベルな目標を実装することを目的としている。
以前の手法では、大規模な言語モデルからそのような能力を得るために、手動の例えか注釈付きプログラムが必要である。
本稿では,LLMからの手続き的知識をコモンセンス・インフュージョン・プロンプトにより引き起こすニューロシンボリック因果言語プランナー(CLAP)を提案する。
論文 参考訳（メタデータ） (2022-06-06T22:09:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。