論文の概要: E-code: Mastering Efficient Code Generation through Pretrained Models and Expert Encoder Group

• arxiv url: http://arxiv.org/abs/2408.12948v1
• Date: Fri, 23 Aug 2024 09:57:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-26 15:30:07.874623
• Title: E-code: Mastering Efficient Code Generation through Pretrained Models and Expert Encoder Group
• Title（参考訳）: E-code: 事前訓練されたモデルとエキスパートエンコーダグループによる効率的なコード生成をマスターする
• Authors: Yue Pan, Chen Lyu, Zhenyu Yang, Lantian Li, Qi Liu, Xiuting Shao,
• Abstract要約: 本研究は,この領域における研究ギャップに対処し,遭遇した様々な課題に対する実践的な解決策を提供することを目的としている。 具体的には、従来の性能エラー修正戦略の制約を克服し、競合するコード効率最適化領域に適した言語モデル(LM)を開発した。
• 参考スコア（独自算出の注目度）: 16.86051578498044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Context: With the waning of Moore's Law, the software industry is placing increasing importance on finding alternative solutions for continuous performance enhancement. The significance and research results of software performance optimization have been on the rise in recent years, especially with the advancement propelled by Large Language Models(LLMs). However, traditional strategies for rectifying performance flaws have shown significant limitations at the competitive code efficiency optimization level, and research on this topic is surprisingly scarce. Objective: This study aims to address the research gap in this domain, offering practical solutions to the various challenges encountered. Specifically, we have overcome the constraints of traditional performance error rectification strategies and developed a Language Model (LM) tailored for the competitive code efficiency optimization realm. Method: We introduced E-code, an advanced program synthesis LM. Inspired by the recent success of expert LMs, we designed an innovative structure called the Expert Encoder Group. This structure employs multiple expert encoders to extract features tailored for different input types. We assessed the performance of E-code against other leading models on a competitive dataset and conducted in-depth ablation experiments. Results: Upon systematic evaluation, E-code achieved a 54.98% improvement in code efficiency, significantly outperforming other advanced models. In the ablation experiments, we further validated the significance of the expert encoder group and other components within E-code. Conclusion: The research findings indicate that the expert encoder group can effectively handle various inputs in efficiency optimization tasks, significantly enhancing the model's performance.
• Abstract（参考訳）: コンテキスト: Mooreの法則の廃止に伴い、ソフトウェア産業は、継続的なパフォーマンス向上のための代替ソリューションを見つけることの重要性を増している。 ソフトウェア性能最適化の意義と研究成果は近年増加しており、特にLarge Language Models (LLMs) による進歩が顕著である。 しかし、従来のパフォーマンス欠陥の修正戦略は、競争力のあるコード効率の最適化レベルで大きな制限を示しており、このトピックの研究は驚くほど少ない。 目的: 本研究は, この領域における研究ギャップに対処することを目的として, 遭遇した様々な課題に対する実践的な解決策を提供する。 具体的には、従来の性能エラー修正戦略の制約を克服し、競合するコード効率最適化領域に適した言語モデル(LM)を開発した。 方法: 先進的なプログラム合成 LM である E-code を導入した。 近年のエキスパートLMの成功に触発されて、私たちはExpert Encoder Groupと呼ばれる革新的な構造を設計しました。 この構造は複数のエキスパートエンコーダを使用して、異なる入力タイプに適した特徴を抽出する。 競合するデータセット上での他の主要なモデルに対するE-codeの性能を評価し,詳細なアブレーション実験を行った。 結果: 体系的な評価により、E-codeは54.98%のコード効率向上を実現し、他の先進モデルよりも大幅に向上した。 アブレーション実験では,エキスパートエンコーダ群およびE-code内の他のコンポーネントの重要性がさらに検証された。 結論: 研究結果は, エキスパートエンコーダ群が効率最適化タスクにおいて, 様々な入力を効果的に処理し, モデルの性能を著しく向上させることができることを示唆している。

関連論文リスト

• Review, Refine, Repeat: Understanding Iterative Decoding of AI Agents with Dynamic Evaluation and Selection [71.92083784393418]
  Best-of-N (BON) サンプリングのような推論時間法は、パフォーマンスを改善するための単純で効果的な代替手段を提供する。 本稿では,反復的改良と動的候補評価,検証器による選択を併用した反復的エージェント復号(IAD)を提案する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• SDPERL: A Framework for Software Defect Prediction Using Ensemble Feature Extraction and Reinforcement Learning [0.0]
  本稿では,ソフトウェア欠陥予測のための革新的なフレームワークを提案する。 アンサンブル特徴抽出と強化学習(RL)に基づく特徴選択を組み合わせる。 この作業は、ファイルレベルの粒度でこの問題に対処する最近の取り組みの1つだ、と我々は主張する。
  論文  参考訳（メタデータ） (2024-12-10T21:16:05Z)
• Measuring Code Efficiency Optimization Capabilities with ACEOB [7.4056083791645495]
  モデルトレーニングデータセットの「コードパターン」を詳細に分析し、人間の手書きコードを慎重に探索する。 95,359組の効率非効率コードからなる自動コード効率最適化ベンチマーク(ACEOB)を導入する。 私たちの知る限り、ACEOBはPythonコードの効率最適化に特化した最初のデータセットです。
  論文  参考訳（メタデータ） (2024-08-23T10:10:37Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Iterative or Innovative? A Problem-Oriented Perspective for Code Optimization [81.88668100203913]
  大規模言語モデル(LLM)は、幅広いプログラミングタスクを解く上で強力な能力を示している。 本稿では,パフォーマンス向上に着目したコード最適化について検討する。
  論文  参考訳（メタデータ） (2024-06-17T16:10:10Z)
• How Efficient is LLM-Generated Code? A Rigorous & High-Standard Benchmark [39.13045037676502]
  大規模言語モデル(LLM)の開発は、プログラム合成のフロンティアを著しく押し上げている。 ほとんどの評価フレームワークは生成したコードの(機能的な)正しさに重点を置いています。 我々は,LLMの効率的なコード生成能力を評価するための厳格で高水準なベンチマークENAMELを開発した。
  論文  参考訳（メタデータ） (2024-06-10T04:19:20Z)
• Towards Coarse-to-Fine Evaluation of Inference Efficiency for Large Language Models [95.96734086126469]
  大規模言語モデル(LLM)は、ユーザが仕事を達成するのを助けるアシスタントとして機能し、高度なアプリケーションの開発をサポートする。 LLMの幅広い応用にとって、推論効率は重要な問題であり、既存の研究で広く研究されている。 各種コードライブラリの推論性能の粗大な解析を行う。
  論文  参考訳（メタデータ） (2024-04-17T15:57:50Z)
• Enhanced Bayesian Optimization via Preferential Modeling of Abstract Properties [49.351577714596544]
  本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。 優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
  論文  参考訳（メタデータ） (2024-02-27T09:23:13Z)
• PhaseEvo: Towards Unified In-Context Prompt Optimization for Large Language Models [9.362082187605356]
  本稿では、LLMの生成能力と進化アルゴリズムのグローバル検索能力を組み合わせた効率的な自動プロンプト最適化フレームワークであるPhaseEvoについて述べる。 PhaseEvoは、優れた効率を維持しながら、最先端のベースライン手法を大きなマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2024-02-17T17:47:10Z)
• PerfRL: A Small Language Model Framework for Efficient Code Optimization [14.18092813639534]
  本稿では,コード最適化の問題に対処する革新的なフレームワークPerfRLを紹介する。 我々のフレームワークは、小型言語モデル(SLM)と強化学習(RL)の機能を活用している。 提案手法は,より短いトレーニング時間とより小さな事前学習モデルを用いて,最先端モデルと比較して,類似あるいはより良い結果が得られる。
  論文  参考訳（メタデータ） (2023-12-09T19:50:23Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)
• Robustified Learning for Online Optimization with Memory Costs [28.737193318136725]
  本稿では,高い平均性能とロバスト性を両立する,新しいエキスパート・ロバスト学習(ERL)手法を提案する。 任意の$lambdageq1$に対して、ERLはエキスパートアルゴリズムに対して$lambda$-competitive、最適なオフラインアルゴリズムに対して$lambdacdot C$-competitiveを達成することができる。
  論文  参考訳（メタデータ） (2023-05-01T06:12:01Z)
• Learning Performance-Improving Code Edits [107.21538852090208]
  本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。 まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。 提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
  論文  参考訳（メタデータ） (2023-02-15T18:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。