論文の概要: Guiding Enumerative Program Synthesis with Large Language Models
- arxiv url: http://arxiv.org/abs/2403.03997v1
- Date: Wed, 6 Mar 2024 19:13:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 16:02:43.207422
- Title: Guiding Enumerative Program Synthesis with Large Language Models
- Title(参考訳): 大規模言語モデルによる列挙型プログラム合成の誘導
- Authors: Yixuan Li, Julian Parsert, Elizabeth Polgreen
- Abstract要約: 本稿では,形式的合成ベンチマークを解くための大規模言語モデルの能力を評価する。
ワンショット合成が失敗すると,新しい列挙合成アルゴリズムを提案する。
形式的合成のためのスタンドアロンツールとしてGPT-3.5は,最先端の形式的合成アルゴリズムにより容易に性能が向上することがわかった。
- 参考スコア(独自算出の注目度): 17.420727709895736
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Pre-trained Large Language Models (LLMs) are beginning to dominate the
discourse around automatic code generation with natural language
specifications. In contrast, the best-performing synthesizers in the domain of
formal synthesis with precise logical specifications are still based on
enumerative algorithms. In this paper, we evaluate the abilities of LLMs to
solve formal synthesis benchmarks by carefully crafting a library of prompts
for the domain. When one-shot synthesis fails, we propose a novel enumerative
synthesis algorithm, which integrates calls to an LLM into a weighted
probabilistic search. This allows the synthesizer to provide the LLM with
information about the progress of the enumerator, and the LLM to provide the
enumerator with syntactic guidance in an iterative loop. We evaluate our
techniques on benchmarks from the Syntax-Guided Synthesis (SyGuS) competition.
We find that GPT-3.5 as a stand-alone tool for formal synthesis is easily
outperformed by state-of-the-art formal synthesis algorithms, but our approach
integrating the LLM into an enumerative synthesis algorithm shows significant
performance gains over both the LLM and the enumerative synthesizer alone and
the winning SyGuS competition tool.
- Abstract(参考訳): 事前訓練された大規模言語モデル(LLM)は、自然言語仕様による自動コード生成に関する議論を支配し始めている。
対照的に、正確な論理仕様を持つ形式的合成の領域において最もパフォーマンスの高いシンセサイザーは、まだ数え上げアルゴリズムに基づいている。
本稿では,LLMが正規合成ベンチマークを解く能力について,ドメインのプロンプトライブラリを慎重に構築することで評価する。
単発合成が失敗すると、LLMへの呼び出しを重み付き確率探索に統合する新しい列挙合成アルゴリズムを提案する。
これにより、シンセサイザーは、enumeratorの進行状況に関する情報をLLMに提供し、enumeratorは反復ループで構文誘導を行うことができる。
本手法をsyntax-guided synthesis (sygus) コンペティタからベンチマークで評価した。
定型合成のための単独ツールとしてのgpt-3.5は最先端の定型合成アルゴリズムでは容易に優れているが,本手法ではllmを列挙型合成アルゴリズムに統合することで,llmと列挙型シンセサイザーのみ,および勝利するsygus競合ツールに対して有意な性能向上を示す。
関連論文リスト
- Mitigating Catastrophic Forgetting in Large Language Models with
Self-Synthesized Rehearsal [51.36134981232229]
大規模言語モデル(LLM)は、連続学習中に破滅的な忘れ込みに悩まされる。
自己合成リハーサル(Self-Synthesized Rehearsal, SSR)と呼ばれるフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-02T16:11:23Z) - Boosting Large Language Model for Speech Synthesis: An Empirical Study [86.89548753080432]
大規模言語モデル(LLM)は自然言語処理において大きな進歩を遂げており、言語能力は音声や視覚など他のモダリティにも拡張されている。
我々は,事前学習したLLM LLaMA/OPTと音声合成モデルVALL-Eを組み合わせることで,LLMの強化と音声生成能力の総合的な実証調査を行う。
テキストエンコーダとしてLLMとVALL-Eを組み合わせることで,LLMとVALL-Eの3つの統合手法を比較した。
論文 参考訳(メタデータ) (2023-12-30T14:20:04Z) - Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。
自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。
本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
論文 参考訳(メタデータ) (2023-12-15T15:46:02Z) - LILO: Learning Interpretable Libraries by Compressing and Documenting Code [72.90003911433905]
LILOは、反復的に合成、圧縮、文書化を行う、ニューロシンボリックなフレームワークである。
LILOは、LLM誘導プログラム合成と、Stitchから自動化された最近のアルゴリズムの進歩を組み合わせたものである。
LILOのシンセサイザーが学習した抽象化を解釈し、デプロイするのを手助けすることで、AutoDocがパフォーマンスを向上させることが分かりました。
論文 参考訳(メタデータ) (2023-10-30T17:55:02Z) - Harnessing the Zero-Shot Power of Instruction-Tuned Large Language Model
in End-to-End Speech Recognition [26.043533280932603]
命令調整型大言語モデル(LLM)とエンドツーエンド自動音声認識(ASR)の新たな統合を提案する。
本研究では,LLMのゼロショット機能を用いて,ASRの性能向上に寄与する言語情報を抽出する。
論文 参考訳(メタデータ) (2023-09-19T11:10:50Z) - ExeDec: Execution Decomposition for Compositional Generalization in
Neural Program Synthesis [59.356261137313275]
プログラム合成において望ましいいくつかの異なる構成一般化形式を特徴付ける。
次に,ExeDecを提案する。ExeDecは,実行サブゴールを予測して問題を段階的に解決する,新しい分解ベースの戦略である。
論文 参考訳(メタデータ) (2023-07-26T01:07:52Z) - Genetic Algorithms for Searching a Matrix of Metagrammars for Synthesis [19.044613696320628]
構文誘導合成(syntax-guided synthesis)は、文法の形で構文テンプレートによって候補解の探索空間が制約されるパラダイムである。
本研究では,ルールの行列として構文テンプレートの空間をモデル化し,この行列を学習データを用いて効率的に探索する方法を実証する。
論文 参考訳(メタデータ) (2023-06-01T10:22:22Z) - ALGO: Synthesizing Algorithmic Programs with LLM-Generated Oracle
Verifiers [60.6418431624873]
大きな言語モデル(LLM)は、機能記述からコードを実装するのに優れているが、アルゴリズムの問題に悩まされている。
我々は,アルゴリズムプログラムを LLM 生成 Oracle で合成するフレームワーク ALGO を提案し,その生成をガイドし,その正確性を検証する。
実験の結果,ALGOを装着すると,Codexモデルよりも8倍,CodeTよりも2.6倍の1サブミッションパス率が得られることがわかった。
論文 参考訳(メタデータ) (2023-05-24T00:10:15Z) - Synthesis from Satisficing and Temporal Goals [21.14507575500482]
既存のアプローチでは、割引合成からの合成技術とDS報酬の最適化を組み合わせているが、音響アルゴリズムは得られていない。
合成と満足なDS報酬(しきい値を達成するリワード)を組み合わせた別のアプローチは、整数割引係数に対して健全で完備であるが、実際には分数割引係数が望まれる。
この研究は、DS報酬を分数割引係数で提示することから合成するための第1音素アルゴリズムへの既存の充足アプローチを拡張した。
論文 参考訳(メタデータ) (2022-05-20T23:46:31Z) - ULSA: Unified Language of Synthesis Actions for Representation of
Synthesis Protocols [2.436060325115753]
合成手順を記述するための最初の統一言語であるULSA(Unified Language of Synthesis Actions)を提案する。
提案手法に基づく3,040の合成手順のデータセットを作成した。
論文 参考訳(メタデータ) (2022-01-23T17:44:48Z) - Towards Neural-Guided Program Synthesis for Linear Temporal Logic
Specifications [26.547133495699093]
ニューラルネットワークを用いてQ関数を学習し、探索を誘導し、その後正当性を検証したプログラムを構築する。
提案手法は,検索と深層学習を組み合わせることで,合成を実現するのにユニークな手法である。
論文 参考訳(メタデータ) (2019-12-31T17:09:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。