論文の概要: Equality Saturation for Tensor Graph Superoptimization

• arxiv url: http://arxiv.org/abs/2101.01332v2
• Date: Wed, 17 Mar 2021 15:05:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-11 11:32:16.193681
• Title: Equality Saturation for Tensor Graph Superoptimization
• Title（参考訳）: テンソルグラフ最適化のための品質飽和
• Authors: Yichen Yang, Phitchaya Mangpo Phothilimtha, Yisu Remy Wang, Max Willsey, Sudip Roy, Jacques Pienaar
• Abstract要約: 本稿では,任意の置換を同時に適用するために等度飽和を用いたテンソルグラフ超最適化手法を提案する。 提案手法では,最適化に要する時間を平均48倍に抑えながら,最先端よりも最大16%のスピードアップで最適化グラフを見つけることができることを示す。
• 参考スコア（独自算出の注目度）: 1.9784507778431828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the major optimizations employed in deep learning frameworks is graph rewriting. Production frameworks rely on heuristics to decide if rewrite rules should be applied and in which order. Prior research has shown that one can discover more optimal tensor computation graphs if we search for a better sequence of substitutions instead of relying on heuristics. However, we observe that existing approaches for tensor graph superoptimization both in production and research frameworks apply substitutions in a sequential manner. Such sequential search methods are sensitive to the order in which the substitutions are applied and often only explore a small fragment of the exponential space of equivalent graphs. This paper presents a novel technique for tensor graph superoptimization that employs equality saturation to apply all possible substitutions at once. We show that our approach can find optimized graphs with up to 16% speedup over state-of-the-art, while spending on average 48x less time optimizing.
• Abstract（参考訳）: ディープラーニングフレームワークで使用される主要な最適化の1つは、グラフ書き換えである。 プロダクションフレームワークは、ルールの書き直しと順序を決定するのにヒューリスティックに依存しています。 先行研究は、ヒューリスティックスに頼るのではなく、より優れた置換列を探索すれば、より最適なテンソル計算グラフを発見できることを示した。 しかし,既存のテンソルグラフ過最適化手法では,製造と研究の両フレームワークが逐次的に置換される。 このような逐次探索法は置換が適用される順序に敏感であり、しばしば等価グラフの指数空間の小さな断片を探索するだけである。 本稿では,任意の置換を同時に適用するために等度飽和を用いたテンソルグラフ超最適化手法を提案する。 提案手法では,最適化に要する時間を平均48倍に抑えながら,最先端よりも最大16%のスピードアップで最適化グラフを見つけることができることを示す。

関連論文リスト

• Optimizing Tensor Computation Graphs with Equality Saturation and Monte Carlo Tree Search [0.0]
  モンテカルロ木探索を用いて優れた表現を構築するテンソルグラフ書き換え手法を提案する。 提案手法は,既存の手法と比較して,ニューラルネットワークの推論速度を最大11%向上させる。
  論文  参考訳（メタデータ） (2024-10-07T22:22:02Z)
• GSINA: Improving Subgraph Extraction for Graph Invariant Learning via Graph Sinkhorn Attention [52.67633391931959]
  グラフ不変学習(GIL)は,グラフデータとそのラベル間の不変性を発見するための効果的な手法である。 グラフシンクホーン注意機構(GSINA)を提案する。 GSINAは、制御可能な空間性と柔らかさを持つ有意義で微分可能な不変部分グラフを得ることができる。
  論文  参考訳（メタデータ） (2024-02-11T12:57:16Z)
• On Searching for Minimal Integer Representation of Undirected Graphs [0.0]
  最小かつ効率的なグラフ表現は、検索とネットワークの格納、通信、およびサンプル空間の鍵となる。 この結果は,グラフ表現/表現のための新しい数値ベース符号化アルゴリズムを解明する可能性がある。
  論文  参考訳（メタデータ） (2023-12-13T21:56:21Z)
• X-RLflow: Graph Reinforcement Learning for Neural Network Subgraphs Transformation [0.0]
  グラフスーパー最適化システムは、最適な計算グラフ構造を見つけるために、ニューラルネットワークへのサブグラフ置換のシーケンスを実行する。 提案手法は,多種多様なディープラーニングモデルにおいて最先端の超最適化システムより優れており,トランスフォーマースタイルのアーキテクチャをベースとしたシステムでは最大40%の精度で実現可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-28T09:06:18Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Reinforcement Learning Based Query Vertex Ordering Model for Subgraph Matching [58.39970828272366]
  グラフマッチングアルゴリズムは、クエリグラフの埋め込みをデータグラフGに列挙する。 マッチング順序は、これらのバックトラックに基づくサブグラフマッチングアルゴリズムの時間効率において重要な役割を果たす。 本稿では,Reinforcement Learning (RL) と Graph Neural Networks (GNN) 技術を適用して,グラフマッチングアルゴリズムの高品質なマッチング順序を生成する。
  論文  参考訳（メタデータ） (2022-01-25T00:10:03Z)
• Graph Matching via Optimal Transport [11.93151370164898]
  グラフマッチング問題の解決は、運用研究、コンピュータビジョン、神経科学などへの応用により、ますます重要になっている。 現在の最先端のアルゴリズムは、非常に大きなグラフのマッチングには非効率であるが、精度は高い。 我々は,最新のグラフマッチングアルゴリズム "FAQ" (Vogelstein, 2015) を改良した GOAT を,その線形和割り当てステップを Cuturi (2013) の "Lightspeed Optimal Transport" メソッドに置き換える。
  論文  参考訳（メタデータ） (2021-11-09T19:18:18Z)
• Time Complexity Analysis of Randomized Search Heuristics for the Dynamic Graph Coloring Problem [15.45783225341009]
  エッジを現在のグラフに追加する動的設定について検討する。 次に、ランダム化された検索の予測時間を分析し、高品質な解を再計算する。
  論文  参考訳（メタデータ） (2021-05-26T13:00:31Z)
• Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
  目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる 新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
  論文  参考訳（メタデータ） (2021-05-13T04:23:07Z)
• Online Dense Subgraph Discovery via Blurred-Graph Feedback [87.9850024070244]
  我々は高密度サブグラフ発見のための新しい学習問題を導入する。 まず,確率の高いほぼ最適解を求めるエッジ時間アルゴリズムを提案する。 そして、理論的保証のあるよりスケーラブルなアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-06-24T11:37:33Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。