論文の概要: The Next 700 ML-Enabled Compiler Optimizations
- arxiv url: http://arxiv.org/abs/2311.10800v1
- Date: Fri, 17 Nov 2023 08:27:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 14:26:37.316024
- Title: The Next 700 ML-Enabled Compiler Optimizations
- Title(参考訳): 次の700 ml対応コンパイラ最適化
- Authors: S. VenkataKeerthy, Siddharth Jain, Umesh Kalvakuntla, Pranav Sai
Gorantla, Rajiv Shailesh Chitale, Eugene Brevdo, Albert Cohen, Mircea Trofin,
Ramakrishna Upadrasta
- Abstract要約: 従来のPythonフレームワーク内でMLモデル開発を可能にするML-Compiler-Bridgeを提案する。
トレーニングと推論、最適化問題、複数のコンパイラとそのバージョン、体育館のインフラなど、研究と実運用の両方のユースケースで評価する。
- 参考スコア(独自算出の注目度): 0.9536052347069729
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: There is a growing interest in enhancing compiler optimizations with ML
models, yet interactions between compilers and ML frameworks remain
challenging. Some optimizations require tightly coupled models and compiler
internals,raising issues with modularity, performance and framework
independence. Practical deployment and transparency for the end-user are also
important concerns. We propose ML-Compiler-Bridge to enable ML model
development within a traditional Python framework while making end-to-end
integration with an optimizing compiler possible and efficient. We evaluate it
on both research and production use cases, for training and inference, over
several optimization problems, multiple compilers and its versions, and gym
infrastructures.
- Abstract(参考訳): MLモデルによるコンパイラ最適化の強化への関心が高まっているが、コンパイラとMLフレームワーク間の相互作用は依然として難しい。
いくつかの最適化では、厳密な結合モデルとコンパイラ内部を必要とし、モジュール化、パフォーマンス、フレームワークの独立性に関する問題を提起する。
実用的なデプロイとエンドユーザの透明性も重要な懸念事項です。
我々は、最適化コンパイラとエンドツーエンドの統合を可能かつ効率的にしながら、従来のpythonフレームワーク内でmlモデル開発を可能にするml-compiler-bridgeを提案する。
我々は、複数の最適化問題、複数のコンパイラとそのバージョン、ジムインフラストラクチャーについて、研究と運用の両方のユースケース、トレーニングと推論の両方で評価する。
関連論文リスト
- CoLLiE: Collaborative Training of Large Language Models in an Efficient
Way [59.09824823710863]
CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。
モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
論文 参考訳(メタデータ) (2023-12-01T08:02:16Z) - Dissecting the Runtime Performance of the Training, Fine-tuning, and
Inference of Large Language Models [26.2566707495948]
大規模言語モデル(LLM)は、学術と産業の両方で大きく進歩している。
我々は,事前学習,微調整,LLMを異なるサイズで提供する場合のエンドツーエンド性能をベンチマークする。
次に,LLMにおける計算処理や通信演算子など,サブモジュールの詳細なランタイム解析を行う。
論文 参考訳(メタデータ) (2023-11-07T03:25:56Z) - Large Language Models for Compiler Optimization [22.52765975286403]
コードサイズに対してLLVMアセンブリを最適化するために,スクラッチからトレーニングしたトランスフォーマーモデルを提案する。
最適化前後の命令数と最適化コード自体を予測する。
提案手法は,コンパイラよりも命令数の削減が3.0%向上する。
論文 参考訳(メタデータ) (2023-09-11T22:11:46Z) - Learning Performance-Improving Code Edits [110.40645687991722]
本稿では,大規模言語モデルを高レベルプログラム最適化に適用するためのフレームワークを提案する。
まず、77万以上の競合するC++プログラミングサブミッションペアによる、人間プログラマによるパフォーマンス改善編集のデータセットをキュレートする。
学術・産業で使用されるデファクトシミュレータであるgem5フルシステムシミュレータをベースとした環境を設計する。
これらの技術の組み合わせにより、CodeLlama-13Bでは平均5.65X、GPT-3.5では6.86Xのスピードアップが達成され、人間の最高のパフォーマンス(4.06X)を上回った。
論文 参考訳(メタデータ) (2023-02-15T18:59:21Z) - Slimmable Domain Adaptation [112.19652651687402]
重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。
私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
論文 参考訳(メタデータ) (2022-06-14T06:28:04Z) - pysamoo: Surrogate-Assisted Multi-Objective Optimization in Python [7.8140593450932965]
pysamooは計算コストの高い最適化問題を解決するためのフレームワークである。
pysamooは、時間を要する評価機能に関わる問題に対処する複数の最適化方法を提供する。
pysamooの詳細については、Anyoptimization.com/projects/pysamooを参照してほしい。
論文 参考訳(メタデータ) (2022-04-12T14:55:57Z) - OMLT: Optimization & Machine Learning Toolkit [54.58348769621782]
最適化と機械学習ツールキット(OMLT)は、ニューラルネットワークと勾配ブーストツリーサロゲートモデルを組み込んだオープンソースのソフトウェアパッケージである。
我々は、OMLTを可能とした最適化技術の進歩について論じ、OMLTが代数モデリング言語であるPyomoとシームレスに統合されていることを示す。
論文 参考訳(メタデータ) (2022-02-04T22:23:45Z) - Learning to Superoptimize Real-world Programs [79.4140991035247]
本稿では,ニューラルシークエンス・ツー・シーケンス・モデルを用いて,実世界のプログラムを最適化するフレームワークを提案する。
我々は、x86-64アセンブリでオープンソースプロジェクトから抽出された25万以上の実世界の関数からなるデータセットであるBig Assemblyベンチマークを紹介した。
論文 参考訳(メタデータ) (2021-09-28T05:33:21Z) - MLGO: a Machine Learning Guided Compiler Optimizations Framework [0.0]
この作業は、実際の設定で複雑なコンパイラパスで機械学習を初めて完全に統合した作業です。
インライン・フォー・サイズモデルのトレーニングには2つの異なるMLアルゴリズムを使用し、最大7%の削減を実現している。
同じモデルは、実世界のターゲットの多様性、そして数ヶ月のアクティブな開発の後、同じターゲットセットにうまく一般化します。
論文 参考訳(メタデータ) (2021-01-13T00:02:49Z) - Optimization-Inspired Learning with Architecture Augmentations and
Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。
フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。
低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文 参考訳(メタデータ) (2020-12-10T03:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。