論文の概要: Neural Code Generation Enhancement via Functional Overlap Reranking
- arxiv url: http://arxiv.org/abs/2311.03366v2
- Date: Mon, 8 Apr 2024 21:54:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 20:06:52.137145
- Title: Neural Code Generation Enhancement via Functional Overlap Reranking
- Title(参考訳): 関数オーバーラップによるニューラルコード生成の強化
- Authors: Hung Quoc To, Minh Huynh Nguyen, Nghi D. Q. Bui,
- Abstract要約: textitSRankは、コード生成から最良のソリューションを選択するための、新しい優先順位付け戦略である。
クラスタ間の機能の重複を定量化することで、我々のアプローチはより良いランキング戦略を提供する。
実験結果から,pass@1のスコアで顕著な結果が得られた。
- 参考スコア(独自算出の注目度): 6.665515707408405
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Code Large Language Models (CodeLLMs) have marked a new era in code generation advancements. However, selecting the best solutions from all possible CodeLLM solutions remains a challenge. Previous methods frequently overlooked the intricate functional similarities and interactions between clusters, resulting in suboptimal results. In this work, we introduce \textit{SRank}, a novel reranking strategy for selecting the best solution from code generation that focuses on modeling the relationship between clusters of solutions. By quantifying the functional overlap between clusters, our approach provides a better ranking strategy of code solutions. Empirical results show that our method achieves remarkable results on pass@1 score. For instance, on the Human-Eval benchmark, we achieve 69.66\% in pass@1 with Codex002, 75.31\% for WizardCoder, 53.99\% for StarCoder and 60.55\% for CodeGen, which surpass the state-of-the-arts solution ranking methods, such as CodeT and Coder-Reviewer on the same CodeLLM with significant margin ($\approx 6.1\%$ improvement on average). Even in scenarios with a limited number of sampled solutions and test cases, our approach demonstrates robustness and superiority, marking a new benchmark in code generation reranking.
- Abstract(参考訳): Code Large Language Models (CodeLLMs) は、コード生成技術の新たな時代を告げている。
しかし、可能なすべてのCodeLLMソリューションから最高のソリューションを選択することは、依然として課題である。
それまでの手法では、複雑な機能的類似性やクラスタ間の相互作用がしばしば見過ごされ、結果として準最適結果が得られた。
本稿では, クラスタ間の関係をモデル化することに焦点を当てた, コード生成から最良のソリューションを選択するための, 新たな優先順位付け戦略である \textit{SRank} を紹介する。
クラスタ間の機能の重複を定量化することにより、私たちのアプローチは、コードソリューションのより良いランキング戦略を提供します。
実験結果から,pass@1のスコアで顕著な結果が得られた。
例えば、Human-Evalベンチマークでは、Codex002で69.66\%、WizardCoderで75.31\%、StarCoderで53.99\%、CodeGenで60.55\%を達成しています。
サンプル化されたソリューションやテストケースが限られているシナリオであっても、私たちのアプローチは堅牢性と優位性を示し、コード生成の新たなベンチマークを再評価します。
関連論文リスト
- Repoformer: Selective Retrieval for Repository-Level Code Completion [30.706277772743615]
検索強化生成(RAG)の最近の進歩は、リポジトリレベルのコード補完の新たな時代が始まった。
本稿では,不要な場合の検索を回避できる選択的なRAGフレームワークを提案する。
我々のフレームワークは、異なる世代モデル、検索者、プログラミング言語を効果的に扱えることを示す。
論文 参考訳(メタデータ) (2024-03-15T06:59:43Z) - Rewriting the Code: A Simple Method for Large Language Model Augmented
Code Search [8.791624084146736]
Generation-Augmented Retrieval (GAR)フレームワークは、クエリを拡張するための例のコードスニペットを生成する。
本稿では,スタイル正規化のためのフレームワーク内でコード(ReCo)を書き換える,シンプルで効果的な方法を提案する。
論文 参考訳(メタデータ) (2024-01-09T12:12:50Z) - Optimizing NOTEARS Objectives via Topological Swaps [41.18829644248979]
本稿では,候補アルゴリズムの集合に有効な手法を提案する。
内部レベルでは、対象が与えられた場合、オフ・ザ・アート制約を利用する。
提案手法は,他のアルゴリズムのスコアを大幅に改善する。
論文 参考訳(メタデータ) (2023-05-26T21:49:37Z) - Coder Reviewer Reranking for Code Generation [56.80381384717]
本稿では,コード言語モデルから多様なプログラムを抽出し,モデル確率で再ランク付けする手法として,Coder-Reviewerの再ランク付けを提案する。
実験の結果、Coder-Reviewerのリランクは、Coderモデルのみのリランクよりも一貫性と大幅な改善をもたらすことが示された。
Coder-Reviewerのリランクは、プロンプトによって実装が容易で、異なるプログラミング言語に一般化でき、既定のハイパーパラメータとうまく機能する。
論文 参考訳(メタデータ) (2022-11-29T18:56:33Z) - CodeExp: Explanatory Code Document Generation [94.43677536210465]
既存のコード・トゥ・テキスト生成モデルは、コードの高レベルな要約のみを生成する。
我々は、コードのための高品質な説明記述の基準を特定するために、人間の研究を行う。
タスクのための多段階微調整戦略とベースラインモデルを提案する。
論文 参考訳(メタデータ) (2022-11-25T18:05:44Z) - DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
本稿では,既存のDocREモデルの根本原因について検討する。
本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。
4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
論文 参考訳(メタデータ) (2022-10-28T11:18:10Z) - CodeT: Code Generation with Generated Tests [49.622590050797236]
テストケースを自動的に生成するための事前学習言語モデルについて検討する。
CodeTは生成されたテストケースを使ってコードソリューションを実行し、次に最良のソリューションを選択します。
我々は,HumanEvalとMBPPのベンチマークを用いて,5種類の事前学習モデル上でCodeTを評価する。
論文 参考訳(メタデータ) (2022-07-21T10:18:37Z) - Enhancing Semantic Code Search with Multimodal Contrastive Learning and
Soft Data Augmentation [50.14232079160476]
コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。
我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
論文 参考訳(メタデータ) (2022-04-07T08:49:27Z) - Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。
少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。
これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
論文 参考訳(メタデータ) (2020-08-04T10:41:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。