論文の概要: Choose Your Programming Copilot: A Comparison of the Program Synthesis
Performance of GitHub Copilot and Genetic Programming
- arxiv url: http://arxiv.org/abs/2111.07875v1
- Date: Mon, 15 Nov 2021 16:30:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-16 20:30:46.069788
- Title: Choose Your Programming Copilot: A Comparison of the Program Synthesis
Performance of GitHub Copilot and Genetic Programming
- Title（参考訳）: プログラミングコパイロットを選択する: GitHubコパイロットのプログラム合成性能と遺伝的プログラミングの比較
- Authors: Dominik Sobania, Martin Briesch, Franz Rothlauf
- Abstract要約: GitHub Copilotは、大規模な言語モデルであるCodexを利用したVisual Studio Code開発環境の拡張である。
本稿では,GitHub Copilotを標準プログラム合成ベンチマーク問題で評価し,得られた結果と遺伝プログラミング文献との比較を行う。
ベンチマーク問題に対する2つのアプローチのパフォーマンスはよく似ているが、GitHub Copilotと比較すると、遺伝的プログラミングに基づくプログラム合成アプローチはまだ十分に成熟していない。
- 参考スコア（独自算出の注目度）: 2.2559617939136505
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: GitHub Copilot, an extension for the Visual Studio Code development
environment powered by the large-scale language model Codex, makes automatic
program synthesis available for software developers. This model has been
extensively studied in the field of deep learning, however, a comparison to
genetic programming, which is also known for its performance in automatic
program synthesis, has not yet been carried out. In this paper, we evaluate
GitHub Copilot on standard program synthesis benchmark problems and compare the
achieved results with those from the genetic programming literature. In
addition, we discuss the performance of both approaches. We find that the
performance of the two approaches on the benchmark problems is quite similar,
however, in comparison to GitHub Copilot, the program synthesis approaches
based on genetic programming are not yet mature enough to support programmers
in practical software development. Genetic programming usually needs a huge
amount of expensive hand-labeled training cases and takes too much time to
generate solutions. Furthermore, source code generated by genetic programming
approaches is often bloated and difficult to understand. For future work on
program synthesis with genetic programming, we suggest researchers to focus on
improving the execution time, readability, and usability.
- Abstract（参考訳）: github copilotは、大規模な言語モデルcodexを動力とするvisual studio code開発環境の拡張であり、ソフトウェア開発者に自動プログラム合成を提供する。
このモデルはディープラーニングの分野で広く研究されているが、自動プログラム合成の性能でも知られている遺伝的プログラミングとの比較はまだ実施されていない。
本稿では,標準プログラム合成ベンチマーク問題に関するgithub copilotを評価し,得られた結果と遺伝的プログラミング文献の比較を行う。
さらに,両手法の性能についても論じる。
ベンチマーク問題に対する2つのアプローチのパフォーマンスはよく似ているが、GitHub Copilotと比較すると、遺伝的プログラミングに基づくプログラム合成アプローチは、実用的なソフトウェア開発においてプログラマをサポートするのに十分ではない。
遺伝的プログラミングは通常、大量の手書きのトレーニングケースを必要とし、ソリューションを生成するのに時間がかかりすぎる。
さらに、遺伝的プログラミングアプローチによって生成されたソースコードはしばしば膨れ上がり、理解しづらい。
遺伝的プログラミングによるプログラム合成の今後の取り組みとして,実行時間,可読性,ユーザビリティの向上に重点を置くことを提案する。
関連論文リスト
- Benchmarking ChatGPT, Codeium, and GitHub Copilot: A Comparative Study of AI-Driven Programming and Debugging Assistants [0.0]
コード生成やバグ修正、最適化といったタスクには、大きな言語モデル(LLM)が不可欠になっています。
本稿では、ChatGPT、Codeium、GitHub Copilotの比較研究を行い、LeetCode問題におけるパフォーマンスを評価する。
論文 参考訳（メタデータ） (2024-09-30T03:53:40Z) - Hierarchical Neural Program Synthesis [19.94176152035497]
プログラム合成は、与えられたタスク仕様を満たす人間可読プログラムを自動構築することを目的としている。
プログラムを階層的に構成することでプログラムを合成するスケーラブルなプログラム合成フレームワークを提案する。
入力/出力ペアを持つ文字列変換領域において,提案するフレームワークを広範囲に評価する。
論文 参考訳（メタデータ） (2023-03-09T18:20:07Z) - BigIssue: A Realistic Bug Localization Benchmark [89.8240118116093]
BigIssueは、現実的なバグローカライゼーションのためのベンチマークである。
実際のJavaバグと合成Javaバグの多様性を備えた一般的なベンチマークを提供する。
われわれは,バグローカライゼーションの最先端技術として,APRの性能向上と,現代の開発サイクルへの適用性の向上を期待している。
論文 参考訳（メタデータ） (2022-07-21T20:17:53Z) - A Conversational Paradigm for Program Synthesis [110.94409515865867]
本稿では,大規模言語モデルを用いた対話型プログラム合成手法を提案する。
私たちは、自然言語とプログラミング言語のデータに基づいて、CodeGenと呼ばれる大規模な言語モデルのファミリーを訓練します。
本研究は,会話能力の出現と,提案した会話プログラム合成パラダイムの有効性を示すものである。
論文 参考訳（メタデータ） (2022-03-25T06:55:15Z) - Iterative Genetic Improvement: Scaling Stochastic Program Synthesis [11.195558777385259]
プログラム合成は、与えられた仕様を満たす基礎となるプログラミング言語からプログラムを自動的に見つけることを目的としている。
既存のプログラム合成技術はこの期待を十分に満たさず、スケーラビリティの問題に悩まされている。
本稿では、この問題を解決するために反復的遺伝的改善と呼ばれるプログラム合成の新しい枠組みを提案する。
論文 参考訳（メタデータ） (2022-02-26T02:00:35Z) - Competition-Level Code Generation with AlphaCode [74.87216298566942]
より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。
Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
論文 参考訳（メタデータ） (2022-02-08T23:16:31Z) - Recent Developments in Program Synthesis with Evolutionary Algorithms [1.8047694351309207]
関連する進化的プログラム合成手法を同定し,その性能を詳細に解析する。
私たちが特定する最も影響力のあるアプローチは、スタックベース、文法誘導、および線形遺伝プログラミングである。
今後の研究のために、研究者は、プログラムのアウトプットを使用して、ソリューションの品質を評価するだけでなく、ソリューションへの道を開くことを奨励します。
論文 参考訳（メタデータ） (2021-08-27T11:38:27Z) - Latent Execution for Neural Program Synthesis Beyond Domain-Specific
Languages [97.58968222942173]
入力出力の例からCプログラムを合成する第一歩を踏み出す。
特に,部分生成プログラムの実行を近似するために潜在表現を学習するLa Synthを提案する。
これらのプログラムのトレーニングにより,Karel と C のプログラム合成における予測性能がさらに向上することを示す。
論文 参考訳（メタデータ） (2021-06-29T02:21:32Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳（メタデータ） (2021-05-20T17:58:42Z) - Code Building Genetic Programming [0.0]
我々は、コード構築遺伝プログラミング(CBGP)を、これを実現するためのフレームワークとして紹介する。
CBGPは、ホスト言語のソースコードに実行または変換できる計算グラフを生成する。
論文 参考訳（メタデータ） (2020-08-09T04:33:04Z) - Synthesize, Execute and Debug: Learning to Repair for Neural Program
Synthesis [81.54148730967394]
本稿では,合成,実行,デバッグの段階を組み込んだニューラルネットワーク生成フレームワークであるSEDを提案する。
SEDはまず、神経プログラムシンセサイザーコンポーネントを使用して初期プログラムを生成し、その後、神経プログラムデバッガを使用して生成されたプログラムを反復的に修復する。
挑戦的な入出力プログラム合成ベンチマークであるKarelでは、SEDはニューラルプログラムシンセサイザー自体のエラー率をかなりのマージンで削減し、デコードのための標準ビームサーチより優れている。
論文 参考訳（メタデータ） (2020-07-16T04:15:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。