論文の概要: Learning to Program with Natural Language
- arxiv url: http://arxiv.org/abs/2304.10464v1
- Date: Thu, 20 Apr 2023 17:09:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-21 12:16:21.189414
- Title: Learning to Program with Natural Language
- Title(参考訳): 自然言語によるプログラミングの学習
- Authors: Yiduo Guo, Yaobo Liang, Chenfei Wu, Wenshan Wu, Dongyan Zhao, Nan Duan
- Abstract要約: 本稿では,タスクプロシージャを記述するために,自然言語を新しい言語として用いることを提案する。
AMPSとMathデータセットに関する実験は、我々のアプローチの有効性を実証している。
- 参考スコア(独自算出の注目度): 82.01687098574722
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have shown remarkable performance in various
basic natural language tasks, which raises hopes for achieving Artificial
General Intelligence. To better complete complex tasks, we need LLMs to program
for the task and then follow the program to generate a specific solution for
the test sample. We propose using natural language as a new programming
language to describe task procedures, making them easily understandable to both
humans and LLMs. LLMs are capable of directly generating natural language
programs, but these programs may still contain factual errors or incomplete
steps. Therefore, we further propose the Learning to Program (LP) method to ask
LLMs themselves to learn natural language programs from the training dataset of
complex tasks and then use the learned program to guide inference. Our
experiments on the AMPS (high school math) and Math (competition mathematics
problems) datasets demonstrate the effectiveness of our approach. When testing
ChatGPT on 10 tasks from the AMPS dataset, our LP method's average performance
outperformed the direct zero-shot test performance by 18.3$\%$. We release our
code at \url{https://github.com/microsoft/NaturalLanguageProgram}.
- Abstract(参考訳): 大規模言語モデル(LLM)は、様々な基本自然言語タスクにおいて顕著な性能を示し、人工知能の実現への期待を高めている。
複雑なタスクをより完了させるためには、タスクをプログラムし、それからプログラムに従ってテストサンプルの特定のソリューションを生成する必要がある。
タスク手順を記述するための新しいプログラミング言語として自然言語を使うことを提案し,人間とllmの両方で容易に理解できるようにする。
LLMは自然言語プログラムを直接生成できるが、これらのプログラムは事実の誤りや不完全なステップを含む可能性がある。
そこで本研究では,複雑なタスクの学習データセットから自然言語プログラムを学習し,学習プログラムを用いて推論をガイドする学習 to Program (LP)法を提案する。
AMPS(高校数学)とMath(競争数学問題)のデータセットに関する実験は、我々のアプローチの有効性を実証している。
AMPSデータセットから10タスクでChatGPTをテストする場合、我々のLPメソッドの平均性能は、直接ゼロショットテストのパフォーマンスを18.3$\%$で上回った。
コードは \url{https://github.com/microsoft/naturallanguageprogram} でリリースします。
関連論文リスト
- TIC: Translate-Infer-Compile for accurate 'text to plan' using LLMs and
logical intermediate representations [0.0]
本研究では,自然言語計画タスク要求の計画作成の問題について検討する。
本手法は, 自然言語タスク記述の解釈可能な中間表現を生成するためにのみ LLM を用いること, (b) 推論, (b) 論理推論器を用いて中間表現から追加の論理依存情報を導出すること, (c) 対象タスクPDDL をベースから生成すること, 推定情報から生成すること, (c) コンパイルすることからなる。
論文 参考訳(メタデータ) (2024-02-09T18:39:13Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳(メタデータ) (2024-01-14T16:17:07Z) - ADaPT: As-Needed Decomposition and Planning with Language Models [136.70875041342686]
As-Needed Decomposition and Planning for Complex Tasks (ADaPT)について紹介する。
ADaPTは、Large Language Modelsがそれらを実行できない場合、複雑なサブタスクを明示的に計画し、分解する。
以上の結果から,ADaPTは強いベースラインを確立した。
論文 参考訳(メタデータ) (2023-11-08T17:59:15Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - ISR-LLM: Iterative Self-Refined Large Language Model for Long-Horizon
Sequential Task Planning [7.701407633867452]
大規模言語モデル(LLM)は、タスクに依存しないプランナとして一般化性を高める可能性を提供する。
ISR-LLMは,反復的な自己複製プロセスを通じてLCMに基づく計画を改善する新しいフレームワークである。
ISR-LLM は現状の LLM ベースのプランナに比べてタスク達成率を大幅に向上できることを示す。
論文 参考訳(メタデータ) (2023-08-26T01:31:35Z) - Dynamic Planning with a LLM [15.430182858130884]
大言語モデル(LLM)はゼロショット設定で多くのNLPタスクを解くことができるが、具体化エージェントを含むアプリケーションは依然として問題である。
LLM動的プランナー(LLM-DP)は,LLMが従来のプランナーと手動で作業し,具体的課題を解決する,神経象徴的な枠組みである。
論文 参考訳(メタデータ) (2023-08-11T21:17:13Z) - Understanding the Capabilities of Large Language Models for Automated
Planning [24.37599752610625]
この研究は、複雑な計画問題の解決におけるLLMの能力に光を当てようとしている。
この文脈で LLM を使用するための最も効果的なアプローチに関する洞察を提供する。
論文 参考訳(メタデータ) (2023-05-25T15:21:09Z) - SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。
我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。
我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-05-16T17:55:51Z) - Plan, Eliminate, and Track -- Language Models are Good Teachers for
Embodied Agents [99.17668730578586]
事前訓練された大言語モデル(LLM)は、世界に関する手続き的な知識をキャプチャする。
Plan, Eliminate, and Track (PET)フレームワークはタスク記述をハイレベルなサブタスクのリストに変換する。
PETフレームワークは、人間の目標仕様への一般化のために、SOTAよりも15%改善されている。
論文 参考訳(メタデータ) (2023-05-03T20:11:22Z) - Plansformer: Generating Symbolic Plans using Transformers [24.375997526106246]
大規模言語モデル(LLM)は、自然言語処理(NLP)分野を著しく進歩させ、活発な研究対象となっている。
プランフォーマーは計画上の問題に微調整され、知識工学の努力を減らし、正確さと長さの点で良好な行動で計画を生成することができる。
Plansformerの1つの構成では、97%の有効なプランが達成されます。
論文 参考訳(メタデータ) (2022-12-16T19:06:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。