論文の概要: Optimizing Tensor Computation Graphs with Equality Saturation and Monte Carlo Tree Search
- arxiv url: http://arxiv.org/abs/2410.05534v1
- Date: Mon, 7 Oct 2024 22:22:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 18:08:20.522035
- Title: Optimizing Tensor Computation Graphs with Equality Saturation and Monte Carlo Tree Search
- Title（参考訳）: 等式飽和を用いたテンソル計算グラフの最適化とモンテカルロ木探索
- Authors: Jakob Hartmann, Guoliang He, Eiko Yoneki,
- Abstract要約: モンテカルロ木探索を用いて優れた表現を構築するテンソルグラフ書き換え手法を提案する。
提案手法は,既存の手法と比較して,ニューラルネットワークの推論速度を最大11%向上させる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The real-world effectiveness of deep neural networks often depends on their latency, thereby necessitating optimization techniques that can reduce a model's inference time while preserving its performance. One popular approach is to sequentially rewrite the input computation graph into an equivalent but faster one by replacing individual subgraphs. This approach gives rise to the so-called phase-ordering problem in which the application of one rewrite rule can eliminate the possibility to apply an even better one later on. Recent work has shown that equality saturation, a technique from compiler optimization, can mitigate this issue by first building an intermediate representation (IR) that efficiently stores multiple optimized versions of the input program before extracting the best solution in a second step. In practice, however, memory constraints prevent the IR from capturing all optimized versions and thus reintroduce the phase-ordering problem in the construction phase. In this paper, we present a tensor graph rewriting approach that uses Monte Carlo tree search to build superior IRs by identifying the most promising rewrite rules. We also introduce a novel extraction algorithm that can provide fast and accurate runtime estimates of tensor programs represented in an IR. Our approach improves the inference speedup of neural networks by up to 11% compared to existing methods.
- Abstract（参考訳）: ディープニューラルネットワークの現実的な有効性は、しばしばレイテンシに依存するため、モデルの性能を維持しながら推論時間を短縮できる最適化技術が必要である。
一般的なアプローチの1つは、個々のサブグラフを置き換えることで、入力計算グラフを等価だが高速に書き直すことである。
このアプローチは、ある書き換え規則の適用により、さらによい規則を適用する可能性を排除できるいわゆる位相順序付け問題を引き起こす。
近年の研究では、コンパイラ最適化の技法である等式飽和が、第2ステップで最適解を抽出する前に複数の最適化された入力プログラムを効率的に格納する中間表現(IR)を構築することにより、この問題を軽減することが示されている。
しかし、実際には、メモリの制約により、IRがすべての最適化されたバージョンをキャプチャできないため、建設段階での位相順序問題を再導入する。
本稿ではモンテカルロ木探索を用いて、最も有望な書き直し規則を同定し、優れたIRを構築するテンソルグラフ書き換え手法を提案する。
また、IRで表されるテンソルプログラムの高速かつ正確な実行時推定を提供する新しい抽出アルゴリズムを導入する。
提案手法は,既存の手法と比較して,ニューラルネットワークの推論速度を最大11%向上させる。
関連論文リスト
- Resetting the Optimizer in Deep RL: An Empirical Study [10.907980864371213]
深層強化学習における最適値関数の近似に着目する。
この単純な修正により,Atariベンチマークにおける深部RLの性能が大幅に向上することが実証された。
論文 参考訳（メタデータ） (2023-06-30T17:53:50Z) - Ordering for Non-Replacement SGD [7.11967773739707]
我々は,アルゴリズムの非置換形式に対する収束率を改善する順序付けを求める。
我々は,強い凸関数と凸関数のステップサイズを一定かつ小さくするための最適順序付けを開発する。
さらに、注文とミニバッチを組み合わせることで、より複雑なニューラルネットワークにも適用できます。
論文 参考訳（メタデータ） (2023-06-28T00:46:58Z) - Loop Unrolled Shallow Equilibrium Regularizer (LUSER) -- A
Memory-Efficient Inverse Problem Solver [26.87738024952936]
逆問題では、潜在的に破損し、しばしば不適切な測定結果から、いくつかの基本的な関心のシグナルを再構築することを目的としている。
浅い平衡正規化器(L)を用いたLUアルゴリズムを提案する。
これらの暗黙のモデルは、より深い畳み込みネットワークと同じくらい表現力があるが、トレーニング中にはるかにメモリ効率が良い。
論文 参考訳（メタデータ） (2022-10-10T19:50:37Z) - A Unified Framework for Implicit Sinkhorn Differentiation [58.56866763433335]
暗黙の微分によってシンクホーン層の解析勾配を求めるアルゴリズムを提案する。
特にGPUメモリなどのリソースが不足している場合には,計算効率が向上する。
論文 参考訳（メタデータ） (2022-05-13T14:45:31Z) - Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文 参考訳（メタデータ） (2021-11-25T19:59:33Z) - An Accelerated Variance-Reduced Conditional Gradient Sliding Algorithm
for First-order and Zeroth-order Optimization [111.24899593052851]
条件勾配アルゴリズム(Frank-Wolfeアルゴリズムとも呼ばれる)は、最近、機械学習コミュニティで人気を取り戻している。
ARCSは、ゼロ階最適化において凸問題を解く最初のゼロ階条件勾配スライディング型アルゴリズムである。
1次最適化では、ARCSの収束結果は、勾配クエリのオラクルの数で、従来のアルゴリズムよりも大幅に優れていた。
論文 参考訳（メタデータ） (2021-09-18T07:08:11Z) - Graph Signal Restoration Using Nested Deep Algorithm Unrolling [85.53158261016331]
グラフ信号処理は、センサー、社会交通脳ネットワーク、ポイントクラウド処理、グラフネットワークなど、多くのアプリケーションにおいてユビキタスなタスクである。
凸非依存型深部ADMM(ADMM)に基づく2つの復元手法を提案する。
提案手法のパラメータはエンドツーエンドでトレーニング可能である。
論文 参考訳（メタデータ） (2021-06-30T08:57:01Z) - SHINE: SHaring the INverse Estimate from the forward pass for bi-level
optimization and implicit models [15.541264326378366]
近年,深層ニューラルネットワークの深度を高める手法として暗黙の深度学習が登場している。
トレーニングは双レベル問題として実行され、その計算複雑性は巨大なヤコビ行列の反復反転によって部分的に駆動される。
本稿では,この計算ボトルネックに対処する新たな手法を提案する。
論文 参考訳（メタデータ） (2021-06-01T15:07:34Z) - Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth
Nonlinear TD Learning [145.54544979467872]
本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。
本研究の結果は, 同時一次および二重側収束の形で表される。
論文 参考訳（メタデータ） (2020-08-23T20:36:49Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。