論文の概要: MLComp: A Methodology for Machine Learning-based Performance Estimation
and Adaptive Selection of Pareto-Optimal Compiler Optimization Sequences
- arxiv url: http://arxiv.org/abs/2012.05270v2
- Date: Fri, 11 Dec 2020 11:53:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 01:51:12.532043
- Title: MLComp: A Methodology for Machine Learning-based Performance Estimation
and Adaptive Selection of Pareto-Optimal Compiler Optimization Sequences
- Title（参考訳）: MLComp:Pareto-Optimal Compiler最適化系列の機械学習に基づく性能推定と適応選択手法
- Authors: Alessio Colucci, D\'avid Juh\'asz, Martin Mosbeck, Alberto Marchisio,
Semeen Rehman, Manfred Kreutzer, Guenther Nadbath, Axel Jantsch and Muhammad
Shafique
- Abstract要約: 組込みソフトウェア最適化のための新しい強化学習型ポリシー手法を提案する。
異なる機械学習モデルが自動的にテストされ、最適なものを選択する。
また、ターゲットとするプラットフォームやアプリケーションドメインに対して、フレームワークを効率的にトレーニングできることも示しています。
- 参考スコア（独自算出の注目度）: 10.200899224740871
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embedded systems have proliferated in various consumer and industrial
applications with the evolution of Cyber-Physical Systems and the Internet of
Things. These systems are subjected to stringent constraints so that embedded
software must be optimized for multiple objectives simultaneously, namely
reduced energy consumption, execution time, and code size. Compilers offer
optimization phases to improve these metrics. However, proper selection and
ordering of them depends on multiple factors and typically requires expert
knowledge. State-of-the-art optimizers facilitate different platforms and
applications case by case, and they are limited by optimizing one metric at a
time, as well as requiring a time-consuming adaptation for different targets
through dynamic profiling.
To address these problems, we propose the novel MLComp methodology, in which
optimization phases are sequenced by a Reinforcement Learning-based policy.
Training of the policy is supported by Machine Learning-based analytical models
for quick performance estimation, thereby drastically reducing the time spent
for dynamic profiling. In our framework, different Machine Learning models are
automatically tested to choose the best-fitting one. The trained Performance
Estimator model is leveraged to efficiently devise Reinforcement Learning-based
multi-objective policies for creating quasi-optimal phase sequences.
Compared to state-of-the-art estimation models, our Performance Estimator
model achieves lower relative error (<2%) with up to 50x faster training time
over multiple platforms and application domains. Our Phase Selection Policy
improves execution time and energy consumption of a given code by up to 12% and
6%, respectively. The Performance Estimator and the Phase Selection Policy can
be trained efficiently for any target platform and application domain.
- Abstract（参考訳）: 組込みシステムは、サイバー物理システムとモノのインターネットの進化により、様々な消費者や産業のアプリケーションで普及してきた。
これらのシステムは厳密な制約を受けており、組み込みソフトウェアは複数の目的、すなわちエネルギー消費量、実行時間、コードサイズを同時に最適化する必要がある。
コンパイラはこれらのメトリクスを改善する最適化フェーズを提供する。
しかし、適切な選択と順序付けは複数の要因に依存し、通常は専門家の知識を必要とする。
最先端のオプティマイザは、ケースによって異なるプラットフォームやアプリケーションのケースを容易にし、動的プロファイリングによって異なるターゲットに対して時間を要するだけでなく、1度に1つのメトリックを最適化することで制限される。
これらの問題に対処するために,強化学習に基づくポリシーにより最適化フェーズをシーケンスする新しいMLComp手法を提案する。
ポリシーのトレーニングは、迅速なパフォーマンス推定のための機械学習ベースの分析モデルによってサポートされ、動的プロファイリングに費やされる時間を大幅に削減する。
私たちのフレームワークでは、最適なモデルを選択するために、さまざまな機械学習モデルが自動的にテストされます。
訓練された性能推定モデルを用いて、準最適位相列を生成するための強化学習に基づく多目的ポリシーを効率的に考案する。
最先端推定モデルと比較して、パフォーマンス推定モデルは、複数のプラットフォームやアプリケーションドメインで最大50倍高速なトレーニング時間を持つ低い相対誤差(2%)を達成する。
我々のフェーズ選択ポリシーは、与えられたコードの実行時間とエネルギー消費をそれぞれ最大12%と6%改善します。
パフォーマンス推定器とフェーズ選択ポリシーは、任意のプラットフォームとアプリケーションドメインに対して効率的にトレーニングできます。
関連論文リスト
- Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。
本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
論文 参考訳（メタデータ） (2024-10-29T14:41:44Z) - Multi-Objective Deep Reinforcement Learning for Optimisation in Autonomous Systems [3.2826250607043796]
MORL(Multi-Objective Reinforcement Learning)技術は存在するが、実世界のASシステムではなくRLベンチマークで採用されている。
本研究では,DWN(Deep W-Learning)と呼ばれるMORL技術を用いて,実行時性能最適化のための最適構成を求める。
我々はDWNとepsilon-greedyアルゴリズムとDeep Q-Networksの2つの単目的最適化実装を比較した。
論文 参考訳（メタデータ） (2024-08-02T11:16:09Z) - Multi-Objective Optimization Using Adaptive Distributed Reinforcement Learning [8.471466670802815]
本稿では,多目的・マルチエージェント強化学習(MARL)アルゴリズムを提案する。
我々はエッジクラウドコンピューティングを用いたITS環境でアルゴリズムをテストする。
また,本アルゴリズムは,モジュール化および非同期オンライントレーニング手法により,様々な実用上の問題にも対処する。
論文 参考訳（メタデータ） (2024-03-13T18:05:16Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳（メタデータ） (2024-01-11T15:02:15Z) - Leveraging Reinforcement Learning and Large Language Models for Code
Optimization [14.602997316032706]
本稿では,コード最適化の複雑さを低減するための新しいフレームワークを提案する。
提案するフレームワークは,大規模言語モデル(LLM)と強化学習(RL)に基づく。
我々は,新しい強化学習アルゴリズムであるCodeT5言語モデルとRRHFを用いて,PIEデータセット上でいくつかの実験を行った。
論文 参考訳（メタデータ） (2023-12-09T19:50:23Z) - CoRe Optimizer: An All-in-One Solution for Machine Learning [0.0]
連続レジリエント収束(CoRe)は、他の最先端の1次勾配に基づく収束アルゴリズムと比較して優れた性能を示した。
CoReは、調査されたすべてのアプリケーションにおいて、最高の、または競争的なパフォーマンスを得る。
論文 参考訳（メタデータ） (2023-07-28T16:48:42Z) - Learning Performance-Improving Code Edits [107.21538852090208]
本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。
まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。
提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
論文 参考訳（メタデータ） (2023-02-15T18:59:21Z) - VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。
私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。
学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文 参考訳（メタデータ） (2022-11-17T18:39:07Z) - Multi-Objective Hyperparameter Optimization in Machine Learning -- An Overview [10.081056751778712]
本稿では,多目的ハイパーパラメータ最適化の基礎を導入し,応用MLにおけるその有用性を動機づける。
進化的アルゴリズムの領域とベイズ最適化の両方から、既存の最適化戦略を広範囲に調査する。
動作条件,予測時間,スパースネス,フェアネス,解釈可能性,ロバストネスなどの目的を考慮し,複数の特定のMLアプリケーションにおけるMOOの有用性を解説する。
論文 参考訳（メタデータ） (2022-06-15T10:23:19Z) - Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。
この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
論文 参考訳（メタデータ） (2021-03-23T20:46:20Z) - Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。
レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
論文 参考訳（メタデータ） (2020-08-02T02:56:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。