論文の概要: E-code: Mastering Efficient Code Generation through Pretrained Models and Expert Encoder Group
- arxiv url: http://arxiv.org/abs/2408.12948v1
- Date: Fri, 23 Aug 2024 09:57:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-26 15:30:07.874623
- Title: E-code: Mastering Efficient Code Generation through Pretrained Models and Expert Encoder Group
- Title（参考訳）: E-code: 事前訓練されたモデルとエキスパートエンコーダグループによる効率的なコード生成をマスターする
- Authors: Yue Pan, Chen Lyu, Zhenyu Yang, Lantian Li, Qi Liu, Xiuting Shao,
- Abstract要約: 本研究は,この領域における研究ギャップに対処し,遭遇した様々な課題に対する実践的な解決策を提供することを目的としている。
具体的には、従来の性能エラー修正戦略の制約を克服し、競合するコード効率最適化領域に適した言語モデル(LM)を開発した。
- 参考スコア（独自算出の注目度）: 16.86051578498044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Context: With the waning of Moore's Law, the software industry is placing increasing importance on finding alternative solutions for continuous performance enhancement. The significance and research results of software performance optimization have been on the rise in recent years, especially with the advancement propelled by Large Language Models(LLMs). However, traditional strategies for rectifying performance flaws have shown significant limitations at the competitive code efficiency optimization level, and research on this topic is surprisingly scarce. Objective: This study aims to address the research gap in this domain, offering practical solutions to the various challenges encountered. Specifically, we have overcome the constraints of traditional performance error rectification strategies and developed a Language Model (LM) tailored for the competitive code efficiency optimization realm. Method: We introduced E-code, an advanced program synthesis LM. Inspired by the recent success of expert LMs, we designed an innovative structure called the Expert Encoder Group. This structure employs multiple expert encoders to extract features tailored for different input types. We assessed the performance of E-code against other leading models on a competitive dataset and conducted in-depth ablation experiments. Results: Upon systematic evaluation, E-code achieved a 54.98% improvement in code efficiency, significantly outperforming other advanced models. In the ablation experiments, we further validated the significance of the expert encoder group and other components within E-code. Conclusion: The research findings indicate that the expert encoder group can effectively handle various inputs in efficiency optimization tasks, significantly enhancing the model's performance.
- Abstract（参考訳）: コンテキスト: Mooreの法則の廃止に伴い、ソフトウェア産業は、継続的なパフォーマンス向上のための代替ソリューションを見つけることの重要性を増している。
ソフトウェア性能最適化の意義と研究成果は近年増加しており、特にLarge Language Models (LLMs) による進歩が顕著である。
しかし、従来のパフォーマンス欠陥の修正戦略は、競争力のあるコード効率の最適化レベルで大きな制限を示しており、このトピックの研究は驚くほど少ない。
目的: 本研究は, この領域における研究ギャップに対処することを目的として, 遭遇した様々な課題に対する実践的な解決策を提供する。
具体的には、従来の性能エラー修正戦略の制約を克服し、競合するコード効率最適化領域に適した言語モデル(LM)を開発した。
方法: 先進的なプログラム合成 LM である E-code を導入した。
近年のエキスパートLMの成功に触発されて、私たちはExpert Encoder Groupと呼ばれる革新的な構造を設計しました。
この構造は複数のエキスパートエンコーダを使用して、異なる入力タイプに適した特徴を抽出する。
競合するデータセット上での他の主要なモデルに対するE-codeの性能を評価し,詳細なアブレーション実験を行った。
結果: 体系的な評価により、E-codeは54.98%のコード効率向上を実現し、他の先進モデルよりも大幅に向上した。
アブレーション実験では,エキスパートエンコーダ群およびE-code内の他のコンポーネントの重要性がさらに検証された。
結論: 研究結果は, エキスパートエンコーダ群が効率最適化タスクにおいて, 様々な入力を効果的に処理し, モデルの性能を著しく向上させることができることを示唆している。
関連論文リスト
- Measuring Code Efficiency Optimization Capabilities with ACEOB [7.4056083791645495]
モデルトレーニングデータセットの「コードパターン」を詳細に分析し、人間の手書きコードを慎重に探索する。
95,359組の効率非効率コードからなる自動コード効率最適化ベンチマーク(ACEOB)を導入する。
私たちの知る限り、ACEOBはPythonコードの効率最適化に特化した最初のデータセットです。
論文 参考訳（メタデータ） (2024-08-23T10:10:37Z) - FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。
FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-08-15T16:45:16Z) - Iterative or Innovative? A Problem-Oriented Perspective for Code Optimization [81.88668100203913]
大規模言語モデル(LLM)は、幅広いプログラミングタスクを解く上で強力な能力を示している。
本稿では,パフォーマンス向上に着目したコード最適化について検討する。
論文 参考訳（メタデータ） (2024-06-17T16:10:10Z) - How Efficient is LLM-Generated Code? A Rigorous & High-Standard Benchmark [39.13045037676502]
大規模言語モデル(LLM)の開発は、プログラム合成のフロンティアを著しく押し上げている。
ほとんどの評価フレームワークは生成したコードの(機能的な)正しさに重点を置いています。
我々は,LLMの効率的なコード生成能力を評価するための厳格で高水準なベンチマークENAMELを開発した。
論文 参考訳（メタデータ） (2024-06-10T04:19:20Z) - Towards Coarse-to-Fine Evaluation of Inference Efficiency for Large Language Models [95.96734086126469]
大規模言語モデル(LLM)は、ユーザが仕事を達成するのを助けるアシスタントとして機能し、高度なアプリケーションの開発をサポートする。
LLMの幅広い応用にとって、推論効率は重要な問題であり、既存の研究で広く研究されている。
各種コードライブラリの推論性能の粗大な解析を行う。
論文 参考訳（メタデータ） (2024-04-17T15:57:50Z) - Enhanced Bayesian Optimization via Preferential Modeling of Abstract
Properties [49.351577714596544]
本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。
優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
論文 参考訳（メタデータ） (2024-02-27T09:23:13Z) - PhaseEvo: Towards Unified In-Context Prompt Optimization for Large
Language Models [9.362082187605356]
本稿では、LLMの生成能力と進化アルゴリズムのグローバル検索能力を組み合わせた効率的な自動プロンプト最適化フレームワークであるPhaseEvoについて述べる。
PhaseEvoは、優れた効率を維持しながら、最先端のベースライン手法を大きなマージンで大幅に上回っている。
論文 参考訳（メタデータ） (2024-02-17T17:47:10Z) - Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via
Instruction Tuning with LITE [62.13435256279566]
大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。
しかし、その大きなサイズは推論を遅く、計算的に高価にする。
最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
論文 参考訳（メタデータ） (2023-10-28T04:07:58Z) - Robustified Learning for Online Optimization with Memory Costs [28.737193318136725]
本稿では,高い平均性能とロバスト性を両立する,新しいエキスパート・ロバスト学習(ERL)手法を提案する。
任意の$lambdageq1$に対して、ERLはエキスパートアルゴリズムに対して$lambda$-competitive、最適なオフラインアルゴリズムに対して$lambdacdot C$-competitiveを達成することができる。
論文 参考訳（メタデータ） (2023-05-01T06:12:01Z) - Learning Performance-Improving Code Edits [107.21538852090208]
本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。
まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。
提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
論文 参考訳（メタデータ） (2023-02-15T18:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。