論文の概要: Meta Large Language Model Compiler: Foundation Models of Compiler Optimization
- arxiv url: http://arxiv.org/abs/2407.02524v1
- Date: Thu, 27 Jun 2024 21:47:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 18:53:35.267704
- Title: Meta Large Language Model Compiler: Foundation Models of Compiler Optimization
- Title（参考訳）: Meta Large Language Model Compiler: コンパイラ最適化の基礎モデル
- Authors: Chris Cummins, Volker Seeker, Dejan Grubisic, Baptiste Roziere, Jonas Gehring, Gabriel Synnaeve, Hugh Leather,
- Abstract要約: 大規模言語モデル(LLM)は、様々なソフトウェア工学やコーディングタスクにまたがる顕著な機能を示している。
しかしながら、コード領域におけるそれらのアプリケーションとコンパイラの最適化については、まだ未検討である。
Meta Large Language Model Compiler (LLM Compiler)は、コード最適化タスクのための、堅牢で、オープンに利用可能な、事前訓練されたモデルのスイートである。
- 参考スコア（独自算出の注目度）: 21.161784011956126
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities across a variety of software engineering and coding tasks. However, their application in the domain of code and compiler optimization remains underexplored. Training LLMs is resource-intensive, requiring substantial GPU hours and extensive data collection, which can be prohibitive. To address this gap, we introduce Meta Large Language Model Compiler (LLM Compiler), a suite of robust, openly available, pre-trained models specifically designed for code optimization tasks. Built on the foundation of Code Llama, LLM Compiler enhances the understanding of compiler intermediate representations (IRs), assembly language, and optimization techniques. The model has been trained on a vast corpus of 546 billion tokens of LLVM-IR and assembly code and has undergone instruction fine-tuning to interpret compiler behavior. LLM Compiler is released under a bespoke commercial license to allow wide reuse and is available in two sizes: 7 billion and 13 billion parameters. We also present fine-tuned versions of the model, demonstrating its enhanced capabilities in optimizing code size and disassembling from x86_64 and ARM assembly back into LLVM-IR. These achieve 77% of the optimising potential of an autotuning search, and 45% disassembly round trip (14% exact match). This release aims to provide a scalable, cost-effective foundation for further research and development in compiler optimization by both academic researchers and industry practitioners.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なソフトウェア工学やコーディングタスクにまたがる顕著な機能を示している。
しかしながら、コード領域におけるそれらのアプリケーションとコンパイラの最適化については、まだ未検討である。
LLMのトレーニングはリソース集約的であり、相当なGPU時間と広範なデータ収集を必要とするため、禁止される可能性がある。
このギャップに対処するために、コード最適化タスク用に特別に設計された、堅牢でオープンに利用可能な事前訓練済みモデルのスイートであるMeta Large Language Model Compiler (LLM Compiler)を紹介します。
Code Llamaの基盤の上に構築されたLLMコンパイラは、コンパイラ中間表現(IR)、アセンブリ言語、最適化テクニックの理解を強化する。
このモデルは、LLVM-IRとアセンブリコードの546億のトークンからなる膨大なコーパスでトレーニングされており、コンパイラの振る舞いを微調整して解釈している。
LLM Compilerは、広範囲の再利用を可能にする商用ライセンス下でリリースされており、70億と13億のパラメーターの2つのサイズで利用できる。
また、コードサイズを最適化し、x86_64とARMアセンブリをLLVM-IRに分解する機能を強化したモデルの微調整版も提示する。
これらは自動調整検索の最適化可能性の77%、分解ラウンドトリップの45%を達成している(14%の正確な一致)。
このリリースは、学術研究者と業界専門家の両方によるコンパイラ最適化のさらなる研究と開発のための、スケーラブルで費用対効果の高い基盤を提供することを目的としている。
関連論文リスト
- CompilerDream: Learning a Compiler World Model for General Code Optimization [58.87557583347996]
汎用コード最適化のためのモデルベース強化学習手法であるCompilerDreamを紹介する。
最適化パスの固有の特性を正確にシミュレートするコンパイラの世界モデルと、このモデルで訓練されたエージェントから、効率的な最適化戦略を生成する。
さまざまなデータセットを網羅し、LLVMのビルトイン最適化や、値予測とエンドツーエンドコード最適化の両方の設定における最先端メソッドを超越している。
論文 参考訳（メタデータ） (2024-04-24T09:20:33Z) - Compiler generated feedback for Large Language Models [3.86901256759401]
我々は,LLVMアセンブリのコードサイズを最適化するために,コンパイラフィードバックを備えたLarge Language Modelを用いたコンパイラ最適化において,新しいパラダイムを導入する。
このモデルは、最適化されていないLLVM IRを入力として取り、最適化されたIR、最適な最適化パス、最適化されていないIRと最適化されたIRの両方の命令数を生成する。
論文 参考訳（メタデータ） (2024-03-18T23:25:13Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳（メタデータ） (2024-02-02T13:14:31Z) - CoLLiE: Collaborative Training of Large Language Models in an Efficient
Way [59.09824823710863]
CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。
モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
論文 参考訳（メタデータ） (2023-12-01T08:02:16Z) - The Next 700 ML-Enabled Compiler Optimizations [0.9536052347069729]
従来のPythonフレームワーク内でMLモデル開発を可能にするML-Compiler-Bridgeを提案する。
トレーニングと推論、最適化問題、複数のコンパイラとそのバージョン、体育館のインフラなど、研究と実運用の両方のユースケースで評価する。
論文 参考訳（メタデータ） (2023-11-17T08:27:17Z) - Dissecting the Runtime Performance of the Training, Fine-tuning, and
Inference of Large Language Models [26.2566707495948]
大規模言語モデル(LLM)は、学術と産業の両方で大きく進歩している。
我々は,事前学習,微調整,LLMを異なるサイズで提供する場合のエンドツーエンド性能をベンチマークする。
次に,LLMにおける計算処理や通信演算子など,サブモジュールの詳細なランタイム解析を行う。
論文 参考訳（メタデータ） (2023-11-07T03:25:56Z) - Large Language Models for Compiler Optimization [22.52765975286403]
コードサイズに対してLLVMアセンブリを最適化するために,スクラッチからトレーニングしたトランスフォーマーモデルを提案する。
最適化前後の命令数と最適化コード自体を予測する。
提案手法は,コンパイラよりも命令数の削減が3.0%向上する。
論文 参考訳（メタデータ） (2023-09-11T22:11:46Z) - CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。
我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。
CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
論文 参考訳（メタデータ） (2023-05-31T05:24:48Z) - Learning Performance-Improving Code Edits [107.21538852090208]
本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。
まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。
提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
論文 参考訳（メタデータ） (2023-02-15T18:59:21Z) - Learning to Superoptimize Real-world Programs [79.4140991035247]
本稿では,ニューラルシークエンス・ツー・シーケンス・モデルを用いて,実世界のプログラムを最適化するフレームワークを提案する。
我々は、x86-64アセンブリでオープンソースプロジェクトから抽出された25万以上の実世界の関数からなるデータセットであるBig Assemblyベンチマークを紹介した。
論文 参考訳（メタデータ） (2021-09-28T05:33:21Z) - MLGO: a Machine Learning Guided Compiler Optimizations Framework [0.0]
この作業は、実際の設定で複雑なコンパイラパスで機械学習を初めて完全に統合した作業です。
インライン・フォー・サイズモデルのトレーニングには2つの異なるMLアルゴリズムを使用し、最大7%の削減を実現している。
同じモデルは、実世界のターゲットの多様性、そして数ヶ月のアクティブな開発の後、同じターゲットセットにうまく一般化します。
論文 参考訳（メタデータ） (2021-01-13T00:02:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。