論文の概要: Target-independent XLA optimization using Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2308.14364v1
- Date: Mon, 28 Aug 2023 07:23:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 15:14:08.531210
- Title: Target-independent XLA optimization using Reinforcement Learning
- Title（参考訳）: 強化学習を用いた目標非依存XLA最適化
- Authors: Milan Ganai, Haichen Li, Theodore Enns, Yida Wang, Randy Huang
- Abstract要約: 本稿では, 深層強化学習に基づく最適XLA HLOパスの探索を提案する。
また,探索性能の向上を図るため,深部RLアルゴリズムの改良も提案する。
全体として、我々の実験では、平均13.3%のオペレーションカウント削減効果が見られた。
- 参考スコア（独自算出の注目度）: 6.442130495735239
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An important challenge in Machine Learning compilers like XLA is multi-pass
optimization and analysis. There has been recent interest chiefly in XLA
target-dependent optimization on the graph-level, subgraph-level, and
kernel-level phases. We specifically focus on target-independent optimization
XLA HLO pass ordering: our approach aims at finding the optimal sequence of
compiler optimization passes, which is decoupled from target-dependent
optimization. However, there is little domain specific study in pass ordering
for XLA HLO. To this end, we propose introducing deep Reinforcement Learning
(RL) based search for optimal XLA HLO pass ordering. We also propose
enhancements to the deep RL algorithms to further improve optimal search
performance and open the research direction for domain-specific guidance for
RL. We create an XLA Gym experimentation framework as a tool to enable RL
algorithms to interact with the compiler for passing optimizations and thereby
train agents. Overall, in our experimentation we observe an average of $13.3\%$
improvement in operation count reduction on a benchmark of GPT-2 training
graphs and $10.4\%$ improvement on a diverse benchmark including GPT-2, BERT,
and ResNet graphs using the proposed approach over the compiler's default phase
ordering.
- Abstract（参考訳）: XLAのような機械学習コンパイラにおける重要な課題は、マルチパス最適化と分析である。
近年、XLAはグラフレベル、サブグラフレベル、カーネルレベルの最適化に主に関心を寄せている。
我々のアプローチは、ターゲット依存最適化から切り離されたコンパイラ最適化パスの最適なシーケンスを見つけることを目的としています。
しかしながら、XLA HLOのパスオーダにおけるドメイン特異的な研究はほとんどない。
そこで本研究では, 深層強化学習(RL)に基づく最適XLA HLOパスの探索を提案する。
また,深部RLアルゴリズムの改良により,探索性能をさらに向上し,ドメイン固有のRL指導のための研究方向を開放する。
我々は,最適化をパスするコンパイラとRLアルゴリズムが対話し,エージェントを訓練するためのツールとして,XLA Gym実験フレームワークを開発した。
全体として、実験では、gpt-2トレーニンググラフのベンチマークで平均13.3\%$の改善と、gpt-2、bert、resnetグラフを含む多様なベンチマークで10.4\%$の改善を、コンパイラのデフォルトのフェーズ順序よりも提案するアプローチを用いて観察した。
関連論文リスト
- A Reinforcement Learning Environment for Automatic Code Optimization in the MLIR Compiler [0.10923877073891444]
本稿では,MLIRコンパイラ研究の促進を目的とした,MLIRコンパイラの最初のRL環境について紹介する。
また、より単純なアクション部分空間の積として作用空間の新たな定式化を提案し、より効率的かつ効率的な最適化を可能にした。
論文 参考訳（メタデータ） (2024-09-17T10:49:45Z) - AIPO: Improving Training Objective for Iterative Preference Optimization [34.24211649396053]
合成データを用いた反復選好最適化について検討する。
我々は,反復選好最適化,すなわち合意対応反復選好最適化(AIPO)のための学習目標を提案する。
論文 参考訳（メタデータ） (2024-09-13T14:03:49Z) - Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。
私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
論文 参考訳（メタデータ） (2024-05-30T06:24:14Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
論文 参考訳（メタデータ） (2024-02-27T15:05:32Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳（メタデータ） (2023-05-29T17:25:26Z) - An Empirical Evaluation of Zeroth-Order Optimization Methods on
AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。
ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。
本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文 参考訳（メタデータ） (2022-10-27T01:58:10Z) - Hybrid Decentralized Optimization: Leveraging Both First- and Zeroth-Order Optimizers for Faster Convergence [31.59453616577858]
分散システムは、よりノイズの多いゼロオーダーエージェントに耐えられるが、最適化プロセスにおいてそのようなエージェントの恩恵を受けることができる。
本研究の結果は,共同最適化作業に貢献しながらも,凸および非零次最適化の目的を達成できる。
論文 参考訳（メタデータ） (2022-10-14T10:54:11Z) - Automatic tuning of hyper-parameters of reinforcement learning
algorithms using Bayesian optimization with behavioral cloning [0.0]
強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。
本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。
実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
論文 参考訳（メタデータ） (2021-12-15T13:10:44Z) - Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。
この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
論文 参考訳（メタデータ） (2021-03-23T20:46:20Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Learning to be Global Optimizer [28.88646928299302]
いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。
学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2020-03-10T03:46:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。