論文の概要: Parsel: A Unified Natural Language Framework for Algorithmic Reasoning
- arxiv url: http://arxiv.org/abs/2212.10561v1
- Date: Tue, 20 Dec 2022 18:59:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 13:33:53.084668
- Title: Parsel: A Unified Natural Language Framework for Algorithmic Reasoning
- Title(参考訳): Parsel: アルゴリズム推論のための統一自然言語フレームワーク
- Authors: Eric Zelikman, Qian Huang, Gabriel Poesia, Noah D. Goodman, Nick Haber
- Abstract要約: コードLLMによる複雑なアルゴリズムの自動実装と検証を可能にするフレームワークであるParselを紹介する。
Parselは、コード合成、定理証明、ロボット計画といった階層的推論を必要とする領域にまたがって使用できる。
Parselの能力は、現在1つの記述から自動的に実装できない複雑なプログラムを生成するために使用する。
- 参考スコア(独自算出の注目度): 31.134347038586544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite recent success in large language model (LLM) reasoning, LLMs still
struggle with hierarchical multi-step reasoning like generating complex
programs. In these cases, humans often start with a high-level algorithmic
design and implement each part gradually. We introduce Parsel, a framework
enabling automatic implementation and validation of complex algorithms with
code LLMs, based on hierarchical function descriptions in natural language.
Parsel can be used across domains requiring hierarchical reasoning, e.g. code
synthesis, theorem proving, and robotic planning. We demonstrate Parsel's
capabilities by using it to generate complex programs that cannot currently be
automatically implemented from one description and backtranslating Python
programs in the APPS dataset. Beyond modeling capabilities, Parsel allows
problem-solving with high-level algorithmic designs, benefiting both students
and professional programmers.
- Abstract(参考訳): 近年のLLM推論の成功にもかかわらず、LLMは複雑なプログラムを生成するような階層的な多段階推論に苦戦している。
このような場合、人間は高レベルなアルゴリズム設計から始めて、各部分を徐々に実装する。
本稿では,自然言語の階層関数記述に基づいて,複雑なアルゴリズムをLLMで自動実装し,検証するフレームワークParselを紹介する。
parselは、コード合成、定理証明、ロボット計画など、階層的な推論を必要とする領域で使用できる。
我々は、Parselの機能を使って、1つの記述から現在実装できない複雑なプログラムを生成し、APPSデータセットでPythonプログラムをバック翻訳する。
モデリング機能以外にも、Parselは高レベルのアルゴリズム設計による問題解決を可能にし、学生とプロのプログラマの両方に利益をもたらす。
関連論文リスト
- Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。
近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。
完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
論文 参考訳(メタデータ) (2024-11-21T04:23:17Z) - Scaling Up Natural Language Understanding for Multi-Robots Through the Lens of Hierarchy [8.180994118420053]
長期計画には不確実性蓄積、計算複雑性、遅延報酬、不完全情報といった課題が伴う。
本研究では,タスク階層を人間の指示から活用し,マルチロボット計画を容易にする手法を提案する。
論文 参考訳(メタデータ) (2024-08-15T14:46:13Z) - LLMs as Probabilistic Minimally Adequate Teachers for DFA Learning [11.037017229299607]
大規模言語モデル(LLM)におけるインテリジェンス(インテリジェンス)の出現は、オートマチックラーニングへの統合に関する調査にインスピレーションを与えている。
本稿では,pMAT (probabilistic Minimally Adequate Teacher) の定式化について紹介する。
我々は,解答精度を向上し,学習したオートマタの正確性を確保する技術を開発した。
論文 参考訳(メタデータ) (2024-08-06T07:12:09Z) - BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。
評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。
そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
論文 参考訳(メタデータ) (2024-06-22T15:52:04Z) - When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。
具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。
コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
論文 参考訳(メタデータ) (2023-08-29T17:22:39Z) - Coupling Large Language Models with Logic Programming for Robust and
General Reasoning from Text [5.532477732693001]
大規模言語モデルは, 意味論的に非常に効果的な数ショットとして機能することを示す。
自然言語文を論理形式に変換し、応答集合プログラムの入力として機能する。
本手法は,bAbI, StepGame, CLUTRR, gSCAN など,いくつかのベンチマークにおいて最先端性能を実現する。
論文 参考訳(メタデータ) (2023-07-15T03:29:59Z) - AutoTAMP: Autoregressive Task and Motion Planning with LLMs as Translators and Checkers [20.857692296678632]
人間とロボットの効果的なインタラクションには、ロボットは複雑な長期的タスクを理解し、計画し、実行する必要がある。
大規模言語モデルの最近の進歩は、自然言語をロボットのアクションシーケンスに変換することを約束している。
本研究では,複雑なタスク領域において,LLMをプランナとして用いる手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-10T21:58:29Z) - ALGO: Synthesizing Algorithmic Programs with LLM-Generated Oracle
Verifiers [60.6418431624873]
大きな言語モデル(LLM)は、機能記述からコードを実装するのに優れているが、アルゴリズムの問題に悩まされている。
我々は,アルゴリズムプログラムを LLM 生成 Oracle で合成するフレームワーク ALGO を提案し,その生成をガイドし,その正確性を検証する。
実験の結果,ALGOを装着すると,Codexモデルよりも8倍,CodeTよりも2.6倍の1サブミッションパス率が得られることがわかった。
論文 参考訳(メタデータ) (2023-05-24T00:10:15Z) - SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。
我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。
我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-05-16T17:55:51Z) - LLM+P: Empowering Large Language Models with Optimal Planning
Proficiency [46.20085545432116]
大規模言語モデル(LLM)は、目覚ましいゼロショットの一般化能力を示している。
古典的なプランナーは、一度形式化された方法で問題が与えられると、効率的な検索アルゴリズムを使って、正しい、あるいは最適なプランを素早く特定できる。
本稿では,従来のプランナーの強みを LLM に組み込んだ最初のフレームワークである LLM+P を紹介する。
論文 参考訳(メタデータ) (2023-04-22T20:34:03Z) - PAL: Program-aided Language Models [112.94785609781503]
自然言語問題を理解するために,プログラム支援言語モデル(PaL)を提案する。
PaLはソリューションステップをPythonインタプリタのようなプログラムランタイムにオフロードする。
私たちは12のベンチマークで新しい最先端の結果を設定しました。
論文 参考訳(メタデータ) (2022-11-18T18:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。