論文の概要: Multi-Programming Language Ensemble for Code Generation in Large Language Model

• arxiv url: http://arxiv.org/abs/2409.04114v1
• Date: Fri, 6 Sep 2024 08:31:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-09 16:25:56.264671
• Title: Multi-Programming Language Ensemble for Code Generation in Large Language Model
• Title（参考訳）: 大規模言語モデルにおけるコード生成のためのマルチプログラミング言語アンサンブル
• Authors: Tengfei Xue, Xuefeng Li, Tahir Azim, Roman Smirnov, Jianhui Yu, Arash Sadrieh, Babak Pahlavan,
• Abstract要約: 大規模言語モデル(LLM)は、特にワンパスコード生成において、コード生成を大幅に改善した。 既存のアプローチのほとんどは、単一のプログラミング言語でコードを生成することだけに重点を置いており、LLMの多言語機能を活用する可能性を見越している。 本稿では,複数の言語にまたがるコード生成を利用して全体的な性能を向上させる,新しいアンサンブルに基づくMulti-Programming Language Ensemble (MPLE)を提案する。
• 参考スコア（独自算出の注目度）: 5.882816711878273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have significantly improved code generation, particularly in one-pass code generation. However, most existing approaches focus solely on generating code in a single programming language, overlooking the potential of leveraging the multi-language capabilities of LLMs. LLMs have varying patterns of errors across different languages, suggesting that a more robust approach could be developed by leveraging these multi-language outputs. In this study, we propose Multi-Programming Language Ensemble (MPLE), a novel ensemble-based method that utilizes code generation across multiple programming languages to enhance overall performance. By treating each language-specific code generation process as an individual "weak expert" and effectively integrating their outputs, our method mitigates language-specific errors and biases. This multi-language ensemble strategy leverages the complementary strengths of different programming languages, enabling the model to produce more accurate and robust code. Our approach can be seamlessly integrated with commonly used techniques such as the reflection algorithm and Monte Carlo tree search to improve code generation quality further. Experimental results show that our framework consistently enhances baseline performance by up to 17.92% on existing benchmarks (HumanEval and HumanEval-plus), with a standout result of 96.25% accuracy on the HumanEval benchmark, achieving new state-of-the-art results across various LLM models. The code will be released at https://github.com/NinjaTech-AI/MPLE
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特にワンパスコード生成において、コード生成を大幅に改善した。 しかし、既存のほとんどのアプローチは、1つのプログラミング言語でコードを生成することだけに重点を置いており、LLMの多言語機能を活用する可能性を見越している。 LLMは異なる言語にまたがる様々なエラーパターンを持ち、これらの多言語出力を活用することでより堅牢なアプローチを開発することができることを示唆している。 本研究では,複数の言語にまたがるコード生成を利用して全体的な性能を向上させる,新しいアンサンブル方式であるMulti-Programming Language Ensemble (MPLE)を提案する。 それぞれの言語固有のコード生成プロセスを個別の"弱専門家"として扱い,その出力を効果的に統合することにより,言語固有のエラーやバイアスを軽減できる。 この多言語アンサンブル戦略は、異なるプログラミング言語の補完的な強みを活用し、モデルがより正確で堅牢なコードを生成することを可能にする。 我々の手法は、リフレクションアルゴリズムやモンテカルロ木探索といった一般的な手法とシームレスに統合して、コード生成の品質をさらに向上させることができる。 実験結果から,既存のベンチマーク(HumanEvalとHumanEval+)のベースライン性能を最大17.92%向上し,HumanEvalベンチマークの96.25%の精度向上を実現した。 コードはhttps://github.com/NinjaTech-AI/MPLEでリリースされる。

関連論文リスト

• mHumanEval -- A Multilingual Benchmark to Evaluate Large Language Models for Code Generation [28.531581489405745]
  mHumanEvalは200以上の自然言語でプロンプトをサポートする拡張ベンチマークである。 我々は15の多様な自然言語(NL)に対して専門的な人文翻訳を提供する。 我々は,SOTA (State-of-the-art) Code LLMの多言語コード生成能力を解析して結論付ける。
  論文  参考訳（メタデータ） (2024-10-19T08:44:26Z)
• Large Language Models for cross-language code clone detection [3.5202378300682162]
  言語間のコードクローン検出は、ソフトウェアエンジニアリングコミュニティで注目を集めている。 機械学習の大幅な進歩にインスパイアされた本論文では、言語間コードクローン検出を再考する。
  論文  参考訳（メタデータ） (2024-08-08T12:57:14Z)
• Assessing Code Generation with Intermediate Languages [6.999311675957218]
  本研究では、様々なプログラミング言語、自然言語ソリューション、擬似コードを含む中間言語の利用について検討する。 以上の結果から, 中間言語は一般に, 最先端性能を達成できていない大規模モデルにおいて, 高い有効性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-07T15:35:41Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• Exploring Multi-Lingual Bias of Large Code Models in Code Generation [55.336629780101475]
  コード生成は、自然言語(NL)仕様に基づいて、コードを合成し、機能要件を満たすことを目的としている。 有効性にもかかわらず、我々は大規模コードモデル(LCM)の生成性能において顕著な多言語バイアスを観察する。 LCMは、英語で指示を与えると解を生成する能力を示すが、中国語などの他のNLで意味論的に等価な命令に直面すると、失敗する可能性がある。
  論文  参考訳（メタデータ） (2024-04-30T08:51:49Z)
• IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators [49.903001442804594]
  本研究では、コンパイラ中間表現(IR)を活用して、Code-LMの多言語機能を改善する可能性について検討する。 まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。 次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。 IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
  論文  参考訳（メタデータ） (2024-03-06T17:52:08Z)
• AdaCCD: Adaptive Semantic Contrasts Discovery Based Cross Lingual Adaptation for Code Clone Detection [69.79627042058048]
  AdaCCDは、その言語でアノテーションを使わずに、新しい言語のクローンコードを検出する新しい言語間適応手法である。 5つのプログラミング言語からなる多言語コードクローン検出ベンチマークを構築し,AdaCCDの言語間適応性を評価する。
  論文  参考訳（メタデータ） (2023-11-13T12:20:48Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)
• A Scalable and Extensible Approach to Benchmarking NL2Code for 18 Programming Languages [1.6312827172331896]
  我々は、自然言語からコード生成のための最初のマルチ言語並列ベンチマークであるMultiPL-Eを提案する。 我々は,MultiPL-Eのコード生成モデルであるCodexとInCoderの2つを評価した。 MultiPL-Eで表現される言語の範囲は、言語周波数と言語特徴がモデル性能に与える影響を調査することができる。
  論文  参考訳（メタデータ） (2022-08-17T11:16:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。