論文の概要: GP and LLMs for Program Synthesis: No Clear Winners

• arxiv url: http://arxiv.org/abs/2508.03966v1
• Date: Tue, 05 Aug 2025 23:09:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 20:09:22.472257
• Title: GP and LLMs for Program Synthesis: No Clear Winners
• Title（参考訳）: プログラム合成のためのGPとLLM:明確な勝者なし
• Authors: Jose Guadalupe Hernandez, Anil Kumar Saini, Gabriel Ketron, Jason H. Moore,
• Abstract要約: 遺伝的プログラミング(GP)と大規模言語モデル(LLM)は、プログラム仕様の提供方法が異なる。 我々はPSB2ベンチマークスイートからタスクのコンピュータプログラムを合成するPushGPとGPT-4oの能力を比較した。
• 参考スコア（独自算出の注目度）: 1.824206545932749
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Genetic programming (GP) and large language models (LLMs) differ in how program specifications are provided: GP uses input-output examples, and LLMs use text descriptions. In this work, we compared the ability of PushGP and GPT-4o to synthesize computer programs for tasks from the PSB2 benchmark suite. We used three prompt variants with GPT-4o: input-output examples (data-only), textual description of the task (text-only), and a combination of both textual descriptions and input-output examples (data-text). Additionally, we varied the number of input-output examples available for building programs. For each synthesizer and task combination, we compared success rates across all program synthesizers, as well as the similarity between successful GPT-4o synthesized programs. We found that the combination of PushGP and GPT-4o with data-text prompting led to the greatest number of tasks solved (23 of the 25 tasks), even though several tasks were solved exclusively by only one of the two synthesizers. We also observed that PushGP and GPT-4o with data-only prompting solved fewer tasks with the decrease in the training set size, while the remaining synthesizers saw no decrease. We also detected significant differences in similarity between the successful programs synthesized for GPT-4o with text-only and data-only prompting. With there being no dominant program synthesizer, this work highlights the importance of different optimization techniques used by PushGP and LLMs to synthesize programs.
• Abstract（参考訳）: 遺伝的プログラミング(GP)と大規模言語モデル(LLM)は、プログラム仕様の提供方法が異なる。 そこで本研究ではPSB2ベンチマークスイートから,PushGPとGPT-4oによるタスク用コンピュータプログラムの合成能力を比較した。 GPT-4oでは,入力出力例(データのみ),タスクのテキスト記述(テキストのみ),テキスト記述と入力出力例(データテキスト)の組合せの3つの即時変種を用いた。 さらに,プログラム構築に利用可能なインプット・アウトプット・サンプルの数も変化した。 各合成器とタスクの組み合わせについて、GPT-4o合成プログラムの類似性とともに、全プログラム合成器の成功率を比較した。 その結果,PushGPとGPT-4oの組み合わせは,2つのシンセサイザーのうち1つのみでのみ解かれたタスクであっても,最も多くのタスク(25タスクのうち23タスク)が解決された。 また,PushGPとGPT-4oは,トレーニングセットサイズが小さくなるにつれて課題が減り,残りのシンセサイザーは減少しなかった。 また,GPT-4oで合成したプログラムとテキストのみのプロンプトとデータのみのプロンプトの相似性に有意な差が認められた。 支配的なプログラムシンセサイザーが存在しないため、この研究はPushGPとLLMがプログラムをシンセサイザーに使用する様々な最適化手法の重要性を強調している。

関連論文リスト

• Amortizing Pragmatic Program Synthesis with Rankings [17.775664476910247]
  合理的音声法(RSA)フレームワークの使用は、プログラムシンセサイザーの構築に成功している。 遅くて正確なRSAシンセサイザーを再生する一般的な方法を提案する。
  論文  参考訳（メタデータ） (2024-06-01T22:55:33Z)
• JiuZhang3.0: Efficiently Improving Mathematical Reasoning by Training Small Data Synthesis Models [110.45794710162241]
  既存の研究は、事前学習のための大規模な数学関連のテキストを収集したり、巨大な数学問題を合成するために強力なLLMに依存している。 そこで本研究では,数学問題合成のための小さなLLMを効率的に学習し,高品質な事前学習データを効率的に生成する手法を提案する。 我々は、GPT-4 API 9.3k回の呼び出しと4.6Bデータの事前トレーニングのみを必要とする、JuZhang3.0モデルの事前トレーニングに600万の数学問題を合成する。
  論文  参考訳（メタデータ） (2024-05-23T09:43:19Z)
• SynthesizRR: Generating Diverse Datasets with Retrieval Augmentation [55.2480439325792]
  トピック分類,感情分析,トーン検出,ユーモアの6つのデータセットの合成について検討した。 その結果,SynthesizRRは語彙や意味の多様性,人文との類似性,蒸留性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-16T12:22:41Z)
• IPSynth: Interprocedural Program Synthesis for Software Security Implementation [3.1119394814248253]
  本稿では,提案手法の仕様を自動学習する新しい言語間プログラム合成手法であるIP Synthを紹介する。 提案手法は,プログラム内の対応する箇所を正確に特定し,必要なコードスニペットを合成し,プログラムに追加し,ChatGPTをプログラム間の戦術的合成タスクで上回ることを示す。
  論文  参考訳（メタデータ） (2024-03-16T07:12:24Z)
• Prompt Engineering or Fine-Tuning: An Empirical Assessment of LLMs for Code [7.760653867600283]
  我々は,基本的なプロンプト,コンテキスト内学習,タスク固有のプロンプトという3つのプロンプト技術戦略を用いて,GPT-4を評価する。 コード要約、生成、翻訳という3つのコード関連タスクに関する17の微調整モデルと比較する。
  論文  参考訳（メタデータ） (2023-10-11T00:21:00Z)
• Guess & Sketch: Language Model Guided Transpilation [59.02147255276078]
  学習されたトランスパイレーションは、手作業による書き直しやエンジニアリングの取り組みに代わるものだ。 確率的ニューラルネットワークモデル(LM)は、入力毎に可塑性出力を生成するが、正確性を保証するコストがかかる。 Guess & Sketch は LM の特徴からアライメントと信頼性情報を抽出し、意味的等価性を解決するためにシンボリック・ソルバに渡す。
  論文  参考訳（メタデータ） (2023-09-25T15:42:18Z)
• Amortizing Pragmatic Program Synthesis with Rankings [19.070549715732483]
  プログラム合成において、インテリジェントシステムはユーザ生成例の集合を取り込み、これらの例と論理的に整合したプログラムを返す。 合理的音声法(RSA)フレームワークの使用は、プログラムシンセサイザーの構築に成功している。 この研究は、すべての仮説を単一の全順序で順序付けする言語的プラグマティックランキングを活用することにより、RSAアルゴリズムを再生する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-09-01T20:12:01Z)
• Generalized Planning in PDDL Domains with Pretrained Large Language Models [82.24479434984426]
  PDDLドメインを考慮し、GPT-4を用いてPythonプログラムを合成する。 7つのPDDLドメインでこのアプローチを評価し、4つのアブレーションと4つのベースラインと比較した。
  論文  参考訳（メタデータ） (2023-05-18T14:48:20Z)
• Hierarchical Neural Program Synthesis [19.94176152035497]
  プログラム合成は、与えられたタスク仕様を満たす人間可読プログラムを自動構築することを目的としている。 プログラムを階層的に構成することでプログラムを合成するスケーラブルなプログラム合成フレームワークを提案する。 入力/出力ペアを持つ文字列変換領域において,提案するフレームワークを広範囲に評価する。
  論文  参考訳（メタデータ） (2023-03-09T18:20:07Z)
• Latent Execution for Neural Program Synthesis Beyond Domain-Specific Languages [97.58968222942173]
  入力出力の例からCプログラムを合成する第一歩を踏み出す。 特に,部分生成プログラムの実行を近似するために潜在表現を学習するLa Synthを提案する。 これらのプログラムのトレーニングにより,Karel と C のプログラム合成における予測性能がさらに向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T02:21:32Z)
• Synthesize, Execute and Debug: Learning to Repair for Neural Program Synthesis [81.54148730967394]
  本稿では,合成,実行,デバッグの段階を組み込んだニューラルネットワーク生成フレームワークであるSEDを提案する。 SEDはまず、神経プログラムシンセサイザーコンポーネントを使用して初期プログラムを生成し、その後、神経プログラムデバッガを使用して生成されたプログラムを反復的に修復する。 挑戦的な入出力プログラム合成ベンチマークであるKarelでは、SEDはニューラルプログラムシンセサイザー自体のエラー率をかなりのマージンで削減し、デコードのための標準ビームサーチより優れている。
  論文  参考訳（メタデータ） (2020-07-16T04:15:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。