論文の概要: Supercompiler Code Optimization with Zero-Shot Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2404.16077v1
- Date: Wed, 24 Apr 2024 09:20:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 18:22:04.741148
- Title: Supercompiler Code Optimization with Zero-Shot Reinforcement Learning
- Title(参考訳): ゼロショット強化学習によるスーパーコンパイラコードの最適化
- Authors: Jialong Wu, Chaoyi Deng, Jianmin Wang, Mingsheng Long,
- Abstract要約: エージェントの1回の試行において,各プログラムの効率的な最適化戦略を即時に生成するために,大規模データで広範囲に訓練された人工知能エージェントであるCodeZeroを提示する。
われわれの手法は、人工知能の工学的潜在能力を生かし、コード最適化の領域で機械学習技術をスケールする方法を開拓する。
- 参考スコア(独自算出の注目度): 63.164423329052404
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Effective code optimization in compilers plays a central role in computer and software engineering. While compilers can be made to automatically search the optimization space without the need for user interventions, this is not a standard practice since the search is slow and cumbersome. Here we present CodeZero, an artificial intelligence agent trained extensively on large data to produce effective optimization strategies instantly for each program in a single trial of the agent. To overcome the huge range of possible test programs, we prepare a large dataset of training programs that emphasize quality, naturalness, and diversity. To tackle the vast space of possible optimizations, we adapt deep reinforcement learning to train the agent in a sample-efficient manner through interacting with a world model of the compiler environment. Evaluation on both benchmark suites and production-level code optimization problems demonstrates our agent's supercompiler performances and zero-shot generalization abilities, outperforming built-in optimization options designed by compiler experts. Our methodology kindles the great potential of artificial intelligence for engineering and paves the way for scaling machine learning techniques in the realm of code optimization.
- Abstract(参考訳): コンパイラーにおける効果的なコード最適化は、コンピュータとソフトウェア工学において中心的な役割を果たす。
コンパイラはユーザの介入を必要とせずに自動的に最適化空間を検索できるが、検索が遅くて面倒なので、これは標準的プラクティスではない。
ここでは、大規模なデータに基づいて広範囲に訓練された人工知能エージェントであるCodeZeroを紹介し、エージェントの1回の試行において、各プログラムの効果的な最適化戦略を即時に生成する。
可能なテストプログラムの膨大な範囲を克服するために、品質、自然性、多様性を重視したトレーニングプログラムの大規模なデータセットを作成します。
最適化可能な膨大なスペースに対処するため,コンパイラ環境のワールドモデルと対話することで,エージェントをサンプル効率で訓練する深層強化学習を適用した。
ベンチマークスイートと本番レベルのコード最適化問題の両方の評価は、エージェントのスーパーコンパイラのパフォーマンスとゼロショットの一般化能力を示し、コンパイラの専門家が設計したビルトイン最適化よりも優れています。
われわれの手法は、人工知能の工学的潜在能力を生かし、コード最適化の領域で機械学習技術をスケールする方法を開拓する。
関連論文リスト
- Large Language Models as Optimizers [106.52386531624532]
本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。
各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。
OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
論文 参考訳(メタデータ) (2023-09-07T00:07:15Z) - CoRe Optimizer: An All-in-One Solution for Machine Learning [0.0]
連続レジリエント収束(CoRe)は、他の最先端の1次勾配に基づく収束アルゴリズムと比較して優れた性能を示した。
CoReは、調査されたすべてのアプリケーションにおいて、最高の、または競争的なパフォーマンスを得る。
論文 参考訳(メタデータ) (2023-07-28T16:48:42Z) - Learning Performance-Improving Code Edits [110.40645687991722]
本稿では,大規模言語モデルを高レベルプログラム最適化に適用するためのフレームワークを提案する。
まず、77万以上の競合するC++プログラミングサブミッションペアによる、人間プログラマによるパフォーマンス改善編集のデータセットをキュレートする。
学術・産業で使用されるデファクトシミュレータであるgem5フルシステムシミュレータをベースとした環境を設計する。
これらの技術の組み合わせにより、CodeLlama-13Bでは平均5.65X、GPT-3.5では6.86Xのスピードアップが達成され、人間の最高のパフォーマンス(4.06X)を上回った。
論文 参考訳(メタデータ) (2023-02-15T18:59:21Z) - Profile Guided Optimization without Profiles: A Machine Learning
Approach [0.0]
プロファイルガイド最適化は動的挙動に基づくコンパイラの最適化能力を改善する効果的な手法である。
本稿では,プロファイルを導出せずにコンパイルされるプログラムの性能を向上させる分岐確率推定のための新しい統計的アプローチを提案する。
論文 参考訳(メタデータ) (2021-12-24T22:49:21Z) - Learning to Superoptimize Real-world Programs [79.4140991035247]
本稿では,ニューラルシークエンス・ツー・シーケンス・モデルを用いて,実世界のプログラムを最適化するフレームワークを提案する。
我々は、x86-64アセンブリでオープンソースプロジェクトから抽出された25万以上の実世界の関数からなるデータセットであるBig Assemblyベンチマークを紹介した。
論文 参考訳(メタデータ) (2021-09-28T05:33:21Z) - Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。
この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
論文 参考訳(メタデータ) (2021-03-23T20:46:20Z) - Training Learned Optimizers with Randomly Initialized Learned Optimizers [49.67678615506608]
ランダムに学習した人の集団は、オンラインの方法でゼロから学習することができる。
人口ベーストレーニングの形式は、この自己学習の組織化に使用される。
このタイプのフィードバックループは、機械学習の将来において重要かつ強力なものになると思います。
論文 参考訳(メタデータ) (2021-01-14T19:07:17Z) - Static Neural Compiler Optimization via Deep Reinforcement Learning [1.458855293397494]
本稿では,位相整合問題に対する深層強化学習手法を用いる。
LLVMのO3シークエンスを構成するサブシーケンスを用いて、エージェントはトレーニングに使用するソースコードのセット上でO3シークエンスより優れていることを学習する。
我々は、我々のアプローチを用いて訓練されたモデルは、ニューラル最適化エージェントとして現代のコンパイラに統合できると考えている。
論文 参考訳(メタデータ) (2020-08-20T13:16:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。