論文の概要: ECO: An LLM-Driven Efficient Code Optimizer for Warehouse Scale Computers

• arxiv url: http://arxiv.org/abs/2503.15669v1
• Date: Wed, 19 Mar 2025 19:52:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:35:26.275006
• Title: ECO: An LLM-Driven Efficient Code Optimizer for Warehouse Scale Computers
• Title（参考訳）: ECO: 倉庫規模のコンピュータのためのLLM駆動の効率的なコード最適化
• Authors: Hannah Lin, Martin Maas, Maximilian Roquemore, Arman Hasanzadeh, Fred Lewis, Yusuf Simonson, Tzu-Wei Yang, Amir Yazdanbakhsh, Deniz Altinbüken, Florin Papa, Maggie Nolan Edmonds, Aditya Patil, Don Schwarz, Satish Chandra, Chris Kennelly, Milad Hashemi, Parthasarathy Ranganathan,
• Abstract要約: 本稿では,ECO(Efficient Code)について紹介する。 過去1年間、ECOは四半期毎に大幅なパフォーマンスの削減を実現してきた。 平均して、1クォーターあたりのセーブは、500k以上の正規化されたCPUコアに相当する。
• 参考スコア（独自算出の注目度）: 13.56820317396104
• License:
• Abstract: With the end of Moore's Law, optimizing code for performance has become paramount for meeting ever-increasing compute demands, particularly in hyperscale data centers where even small efficiency gains translate to significant resource and energy savings. Traditionally, this process requires significant programmer effort to identify optimization opportunities, modify the code to implement the optimization, and carefully deploy and measure the optimization's impact. Despite a significant amount of work on automating program edits and promising results in small-scale settings, such performance optimizations have remained elusive in large real-world production environments, due to the scale, high degree of complexity, and reliability required. This paper introduces ECO (Efficient Code Optimizer), a system that automatically refactors source code to improve performance at scale. To achieve these performance gains, ECO searches through historical commits at scale to create a dictionary of performance anti-patterns that these commits addressed. These anti-patterns are used to search for similar patterns in a code base of billions of lines of code, pinpointing other code segments with similar potential optimization opportunities. Using a fine-tuned LLM, ECO then automatically refactors the code to generate and apply similar edits. Next, ECO verifies the transformed code, submits it for code review, and measures the impact of the optimization in production. Currently deployed on Google's hyperscale production fleet, this system has driven >25k changed lines of production code, across over 6.4k submitted commits, with a >99.5% production success rate. Over the past year, ECO has consistently resulted in significant performance savings every quarter. On average, the savings produced per quarter are equivalent to over 500k normalized CPU cores.
• Abstract（参考訳）: ムーアの法則の終了により、パフォーマンスのためのコード最適化は、特に小さな効率向上が大きなリソースとエネルギーの節約に繋がる超大規模データセンターにおいて、常に増加する計算要求を満たすための最重要課題となっている。 伝統的に、このプロセスは最適化の機会を特定し、最適化を実装するためにコードを修正し、最適化の影響を注意深く展開し測定するために、かなりのプログラマーの努力を必要とします。 プログラムの編集の自動化や小規模環境での有望な結果に対する多大な努力にもかかわらず、このようなパフォーマンス最適化は大規模な実運用環境では、スケール、高い複雑さ、信頼性などの理由から、いまだに解明されていない。 本稿では,ECO(Efficient Code Optimizer)という,大規模なパフォーマンス向上のためにソースコードを自動的にリファクタリングするシステムを紹介する。 これらのパフォーマンス向上を達成するため、ECOは過去のコミットを大規模に検索して、これらのコミットに対処したパフォーマンスアンチパターンの辞書を作成する。 これらのアンチパターンは、数十億行のコードからなるコードベースで同様のパターンを検索するために使われます。 微調整のLLMを使用して、ECOはコードを自動的にリファクタリングして、同様の編集を生成し、適用する。 次に、ECOは変換されたコードを検証し、コードレビューに送信し、本番環境での最適化の影響を測定します。 現在、Googleのハイパースケール・プロダクション・フリートにデプロイされているこのシステムは、6.4k以上のコミットに対して25万行のコード変更を行い、99.5%のプロダクション・成功率を記録した。 過去1年間、ECOは四半期毎に大幅なパフォーマンスの削減を実現してきた。 平均して、1クォーターあたりのセーブは、500k以上の正規化されたCPUコアに相当する。

関連論文リスト

• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• Optimizing Code Runtime Performance through Context-Aware Retrieval-Augmented Generation [8.574686422653345]
  AutoはGPT-4oよりも実行効率が7.3%向上した。 本研究では、LLMが最適化されたコードを自動的に生成できるようにすることにより、そのギャップを埋めるためのコンテキスト内学習手法を提案する。
  論文  参考訳（メタデータ） (2025-01-28T04:00:35Z)
• ACECode: A Reinforcement Learning Framework for Aligning Code Efficiency and Correctness in Code Language Models [9.4219427550154]
  SOAP や PIE のような CodeLLM のコード効率を最適化するための既存のアプローチには、いくつかの制限がある。 ACECodeは、強化学習に基づく微調整フレームワークで、CodeLLMを効率と正確性の2つの目的に合わせる。 ACECodeは4つのSOTA (state-of-the-art) CodeLLMを微調整し、それらのコードをオリジナル、命令調整、PIE調整の3つのベースラインと比較することで評価する。
  論文  参考訳（メタデータ） (2024-12-23T04:19:45Z)
• Less is More: Towards Green Code Large Language Models via Unified Structural Pruning [27.428983811427827]
  語彙, 層, フィードフォワードネットワーク(FFN)プルーニングを組み合わせた, 革新的な統一的構造解析手法であるFlap-Prunerを提案する。 その結果、Flap-Prunerはパラメータの22%をプルーニングした後、元のパフォーマンスの97%を維持し、トレーニング後と同じあるいはそれ以上のパフォーマンスを達成していることがわかった。
  論文  参考訳（メタデータ） (2024-12-20T14:13:09Z)
• PerfCodeGen: Improving Performance of LLM Generated Code with Execution Feedback [78.89596149768458]
  大規模言語モデル(LLM)は、ソフトウェア開発タスクを支援するために広く採用されている。 LLM生成コードの性能を向上させるトレーニングフリーフレームワークPerfCodeGenを提案する。
  論文  参考訳（メタデータ） (2024-11-18T06:22:38Z)
• CodeDPO: Aligning Code Models with Self Generated and Verified Source Code [52.70310361822519]
  我々は、コード生成に好み学習を統合するフレームワークであるCodeDPOを提案し、コードの正確性と効率性という2つの重要なコード優先要因を改善した。 CodeDPOは、コードとテストケースを同時に生成、評価するセルフジェネレーション・アンド・バリデーションメカニズムを利用して、新しいデータセット構築方法を採用している。
  論文  参考訳（メタデータ） (2024-10-08T01:36:15Z)
• Measuring Code Efficiency Optimization Capabilities with ACEOB [7.4056083791645495]
  モデルトレーニングデータセットの「コードパターン」を詳細に分析し、人間の手書きコードを慎重に探索する。 95,359組の効率非効率コードからなる自動コード効率最適化ベンチマーク(ACEOB)を導入する。 私たちの知る限り、ACEOBはPythonコードの効率最適化に特化した最初のデータセットです。
  論文  参考訳（メタデータ） (2024-08-23T10:10:37Z)
• Efficient Task Transfer for HLS DSE [39.03556214534823]
  高レベル合成(HLS)設計空間探索に関わる課題に対処する。 これらのツールが発達するにつれて、合成結果の質(QoR)は著しく変化する。 ツールチェーンの変更に対して効率的に適応するように設計されたモデルベースのエクスプローラーを活用するタスク転送学習スキームであるActive-CEMを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T19:54:41Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Learning Performance-Improving Code Edits [107.21538852090208]
  本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。 まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。 提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
  論文  参考訳（メタデータ） (2023-02-15T18:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。