論文の概要: MLGO: a Machine Learning Guided Compiler Optimizations Framework

• arxiv url: http://arxiv.org/abs/2101.04808v1
• Date: Wed, 13 Jan 2021 00:02:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-03 23:34:56.575994
• Title: MLGO: a Machine Learning Guided Compiler Optimizations Framework
• Title（参考訳）: mlgo: 機械学習によるコンパイラ最適化フレームワーク
• Authors: Mircea Trofin (1), Yundi Qian (1), Eugene Brevdo (1), Zinan Lin (2), Krzysztof Choromanski (1), David Li (1) ((1) Google, Inc., (2) Carnegie Mellon University)
• Abstract要約: この作業は、実際の設定で複雑なコンパイラパスで機械学習を初めて完全に統合した作業です。 インライン・フォー・サイズモデルのトレーニングには2つの異なるMLアルゴリズムを使用し、最大7%の削減を実現している。 同じモデルは、実世界のターゲットの多様性、そして数ヶ月のアクティブな開発の後、同じターゲットセットにうまく一般化します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Leveraging machine-learning (ML) techniques for compiler optimizations has been widely studied and explored in academia. However, the adoption of ML in general-purpose, industry strength compilers has yet to happen. We propose MLGO, a framework for integrating ML techniques systematically in an industrial compiler -- LLVM. As a case study, we present the details and results of replacing the heuristics-based inlining-for-size optimization in LLVM with machine learned models. To the best of our knowledge, this work is the first full integration of ML in a complex compiler pass in a real-world setting. It is available in the main LLVM repository. We use two different ML algorithms: Policy Gradient and Evolution Strategies, to train the inlining-for-size model, and achieve up to 7\% size reduction, when compared to state of the art LLVM -Oz. The same model, trained on one corpus, generalizes well to a diversity of real-world targets, as well as to the same set of targets after months of active development. This property of the trained models is beneficial to deploy ML techniques in real-world settings.
• Abstract（参考訳）: コンパイラ最適化のための機械学習(ML)技術の導入は、学界で広く研究され研究されている。 しかし、MLを汎用的で産業力のあるコンパイラに採用することは、まだない。 産業用コンパイラLLVMにMLテクニックを体系的に統合するフレームワークであるMLGOを提案する。 ケーススタディでは、LLVMにおけるヒューリスティックスに基づくインライン・フォー・サイズ最適化を機械学習モデルに置き換える詳細と結果を示す。 私たちの知る限りでは、この作業は、複雑なコンパイラにおけるMLの完全な統合を現実の環境で実現した初めてのものです。 これは、メインのLLVMリポジトリで利用できる。 我々は、ポリシーグラディエントと進化戦略の2つの異なるMLアルゴリズムを使用して、インライン・フォー・サイズモデルをトレーニングし、アートLLVM-Ozの状態と比較して最大7倍のサイズの縮小を実現しています。 1つのコーパスでトレーニングされた同じモデルは、現実世界のターゲットの多様性と、数ヶ月のアクティブな開発後に同じターゲットのセットを一般化する。 トレーニングされたモデルのこの特性は、実世界の設定でMLテクニックをデプロイする上で有益である。

関連論文リスト

• LLM-based Optimization of Compound AI Systems: A Survey [64.39860384538338]
  複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• Meta Large Language Model Compiler: Foundation Models of Compiler Optimization [21.161784011956126]
  大規模言語モデル(LLM)は、様々なソフトウェア工学やコーディングタスクにまたがる顕著な機能を示している。 しかしながら、コード領域におけるそれらのアプリケーションとコンパイラの最適化については、まだ未検討である。 Meta Large Language Model Compiler (LLM Compiler)は、コード最適化タスクのための、堅牢で、オープンに利用可能な、事前訓練されたモデルのスイートである。
  論文  参考訳（メタデータ） (2024-06-27T21:47:48Z)
• Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
  言語化機械学習(VML)の枠組みを紹介する。 VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。 我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:56Z)
• ACPO: AI-Enabled Compiler-Driven Program Optimization [1.879008610342411]
  ACPOは、さまざまな最適化パスにMLモデルを使用することの恩恵を受けるために、LLVMにシンプルで包括的なツールを提供するフレームワークである。 LLVM の O3 最適化と比較して,Loop Unroll の ACPO モデルでは,Polybench にデプロイすると平均 4% の値が得られることを示す。
  論文  参考訳（メタデータ） (2023-12-15T17:49:24Z)
• CoLLiE: Collaborative Training of Large Language Models in an Efficient Way [59.09824823710863]
  CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。 モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
  論文  参考訳（メタデータ） (2023-12-01T08:02:16Z)
• RedCoast: A Lightweight Tool to Automate Distributed Training of LLMs on Any GPU/TPUs [32.01139974519813]
  大規模言語モデル(LLM)の分散トレーニングと推論を自動化するツールであるRedCoastを紹介する。 また,3つの関数の定義により,多様なMLパイプラインをカスタマイズする機構を提案する。 その結果、Redcoの実装は公式実装に比べてコード行数が大幅に減った。
  論文  参考訳（メタデータ） (2023-10-25T04:32:35Z)
• GEVO-ML: Optimizing Machine Learning Code with Evolutionary Computation [6.525197444717069]
  GEVO-MLは、最適化の機会を発見し、機械学習カーネルのパフォーマンスをチューニングするためのツールである。 モデルトレーニングと予測の両方のために、GEVO-MLを2つの異なるMLワークロードでデモする。 GEVO-MLはこれらのモデルに大きな改善を加え、モデル精度が2%の緩和で90.43%の性能向上を達成した。
  論文  参考訳（メタデータ） (2023-10-16T09:24:20Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• MLGOPerf: An ML Guided Inliner to Optimize Performance [7.314201117946244]
  本稿では,LLVMのML-Inlinerを用いて,パフォーマンスを最適化する初のエンドツーエンドフレームワークを提案する。 セカンダリMLモデルを使用して、リターゲット強化学習エージェントのトレーニングに使用する報酬を生成する。 分析中の関数のインライン後のスピードアップを予測し、プライマリモデルのための高速なトレーニングフレームワークを可能にする。
  論文  参考訳（メタデータ） (2022-07-18T05:47:29Z)
• A Survey on Large-scale Machine Learning [67.6997613600942]
  機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。 ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。 大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
  論文  参考訳（メタデータ） (2020-08-10T06:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。