論文の概要: Guiding Enumerative Program Synthesis with Large Language Models

• arxiv url: http://arxiv.org/abs/2403.03997v1
• Date: Wed, 6 Mar 2024 19:13:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 16:02:43.207422
• Title: Guiding Enumerative Program Synthesis with Large Language Models
• Title（参考訳）: 大規模言語モデルによる列挙型プログラム合成の誘導
• Authors: Yixuan Li, Julian Parsert, Elizabeth Polgreen
• Abstract要約: 本稿では,形式的合成ベンチマークを解くための大規模言語モデルの能力を評価する。 ワンショット合成が失敗すると,新しい列挙合成アルゴリズムを提案する。 形式的合成のためのスタンドアロンツールとしてGPT-3.5は,最先端の形式的合成アルゴリズムにより容易に性能が向上することがわかった。
• 参考スコア（独自算出の注目度）: 17.420727709895736
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pre-trained Large Language Models (LLMs) are beginning to dominate the discourse around automatic code generation with natural language specifications. In contrast, the best-performing synthesizers in the domain of formal synthesis with precise logical specifications are still based on enumerative algorithms. In this paper, we evaluate the abilities of LLMs to solve formal synthesis benchmarks by carefully crafting a library of prompts for the domain. When one-shot synthesis fails, we propose a novel enumerative synthesis algorithm, which integrates calls to an LLM into a weighted probabilistic search. This allows the synthesizer to provide the LLM with information about the progress of the enumerator, and the LLM to provide the enumerator with syntactic guidance in an iterative loop. We evaluate our techniques on benchmarks from the Syntax-Guided Synthesis (SyGuS) competition. We find that GPT-3.5 as a stand-alone tool for formal synthesis is easily outperformed by state-of-the-art formal synthesis algorithms, but our approach integrating the LLM into an enumerative synthesis algorithm shows significant performance gains over both the LLM and the enumerative synthesizer alone and the winning SyGuS competition tool.
• Abstract（参考訳）: 事前訓練された大規模言語モデル(LLM)は、自然言語仕様による自動コード生成に関する議論を支配し始めている。 対照的に、正確な論理仕様を持つ形式的合成の領域において最もパフォーマンスの高いシンセサイザーは、まだ数え上げアルゴリズムに基づいている。 本稿では,LLMが正規合成ベンチマークを解く能力について,ドメインのプロンプトライブラリを慎重に構築することで評価する。 単発合成が失敗すると、LLMへの呼び出しを重み付き確率探索に統合する新しい列挙合成アルゴリズムを提案する。 これにより、シンセサイザーは、enumeratorの進行状況に関する情報をLLMに提供し、enumeratorは反復ループで構文誘導を行うことができる。 本手法をsyntax-guided synthesis (sygus) コンペティタからベンチマークで評価した。 定型合成のための単独ツールとしてのgpt-3.5は最先端の定型合成アルゴリズムでは容易に優れているが,本手法ではllmを列挙型合成アルゴリズムに統合することで,llmと列挙型シンセサイザーのみ,および勝利するsygus競合ツールに対して有意な性能向上を示す。

関連論文リスト

• LLM-based Optimization of Compound AI Systems: A Survey [64.39860384538338]
  複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• HYSYNTH: Context-Free LLM Approximation for Guiding Program Synthesis [25.260063704712458]
  大規模言語モデル(LLM)は、よく知らないDSLで完全に正しいプログラムを生成するのに失敗する。 これらの制約により、与えられたタスクに対する LLM 補完をタスク固有の文脈自由代用モデル学習に使用するハイブリッドアプローチを導入する。 このハイブリッドなアプローチを3つの領域で評価し、既存のプログラムシンセサイザーと同様に、無誘導探索とLCMからの直接サンプリングの両方より優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-24T18:45:51Z)
• SynthesizRR: Generating Diverse Datasets with Retrieval Augmentation [55.2480439325792]
  トピック分類,感情分析,トーン検出,ユーモアの6つのデータセットの合成について検討した。 その結果,SynthesizRRは語彙や意味の多様性,人文との類似性,蒸留性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-16T12:22:41Z)
• Mitigating Catastrophic Forgetting in Large Language Models with Self-Synthesized Rehearsal [49.24054920683246]
  大規模言語モデル(LLM)は、連続学習中に破滅的な忘れ込みに悩まされる。 自己合成リハーサル(Self-Synthesized Rehearsal, SSR)と呼ばれるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-02T16:11:23Z)
• Boosting Large Language Model for Speech Synthesis: An Empirical Study [86.89548753080432]
  大規模言語モデル(LLM)は自然言語処理において大きな進歩を遂げており、言語能力は音声や視覚など他のモダリティにも拡張されている。 我々は,事前学習したLLM LLaMA/OPTと音声合成モデルVALL-Eを組み合わせることで,LLMの強化と音声生成能力の総合的な実証調査を行う。 テキストエンコーダとしてLLMとVALL-Eを組み合わせることで,LLMとVALL-Eの3つの統合手法を比較した。
  論文  参考訳（メタデータ） (2023-12-30T14:20:04Z)
• LILO: Learning Interpretable Libraries by Compressing and Documenting Code [71.55208585024198]
  LILOは、反復的に合成、圧縮、文書化を行う、ニューロシンボリックなフレームワークである。 LILOは、LLM誘導プログラム合成と、Stitchから自動化された最近のアルゴリズムの進歩を組み合わせたものである。 LILOのシンセサイザーが学習した抽象化を解釈し、デプロイするのを手助けすることで、AutoDocがパフォーマンスを向上させることが分かりました。
  論文  参考訳（メタデータ） (2023-10-30T17:55:02Z)
• ExeDec: Execution Decomposition for Compositional Generalization in Neural Program Synthesis [54.18659323181771]
  プログラム合成において望ましいいくつかの異なる構成一般化形式を特徴付ける。 本稿では,ExeDecを提案する。ExeDecは,実行サブゴールを予測し,各ステップでプログラム実行によって段階的に通知される問題を解くための,新しい分解ベースの戦略である。
  論文  参考訳（メタデータ） (2023-07-26T01:07:52Z)
• Genetic Algorithms for Searching a Matrix of Metagrammars for Synthesis [19.044613696320628]
  構文誘導合成(syntax-guided synthesis)は、文法の形で構文テンプレートによって候補解の探索空間が制約されるパラダイムである。 本研究では,ルールの行列として構文テンプレートの空間をモデル化し,この行列を学習データを用いて効率的に探索する方法を実証する。
  論文  参考訳（メタデータ） (2023-06-01T10:22:22Z)
• ULSA: Unified Language of Synthesis Actions for Representation of Synthesis Protocols [2.436060325115753]
  合成手順を記述するための最初の統一言語であるULSA(Unified Language of Synthesis Actions)を提案する。 提案手法に基づく3,040の合成手順のデータセットを作成した。
  論文  参考訳（メタデータ） (2022-01-23T17:44:48Z)
• Towards Neural-Guided Program Synthesis for Linear Temporal Logic Specifications [26.547133495699093]
  ニューラルネットワークを用いてQ関数を学習し、探索を誘導し、その後正当性を検証したプログラムを構築する。 提案手法は,検索と深層学習を組み合わせることで,合成を実現するのにユニークな手法である。
  論文  参考訳（メタデータ） (2019-12-31T17:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。