論文の概要: Neural Topological Ordering for Computation Graphs

• arxiv url: http://arxiv.org/abs/2207.05899v1
• Date: Wed, 13 Jul 2022 00:12:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 03:44:19.744045
• Title: Neural Topological Ordering for Computation Graphs
• Title（参考訳）: 計算グラフのニューラルトポロジカル順序付け
• Authors: Mukul Gagrani, Corrado Rainone, Yang Yang, Harris Teague, Wonseok Jeon, Herke Van Hoof, Weiliang Will Zeng, Piero Zappi, Christopher Lott, Roberto Bondesan
• Abstract要約: エンコーダ-デコーダフレームワークを用いたトポロジ的順序付けのためのエンドツーエンドの機械学習に基づくアプローチを提案する。 このモデルでは,最大2kノードの合成グラフにおいて,いくつかのトポロジ的順序付けベースラインで,より高速に動作可能であることを示す。
• 参考スコア（独自算出の注目度）: 23.225391263047364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent works on machine learning for combinatorial optimization have shown that learning based approaches can outperform heuristic methods in terms of speed and performance. In this paper, we consider the problem of finding an optimal topological order on a directed acyclic graph with focus on the memory minimization problem which arises in compilers. We propose an end-to-end machine learning based approach for topological ordering using an encoder-decoder framework. Our encoder is a novel attention based graph neural network architecture called \emph{Topoformer} which uses different topological transforms of a DAG for message passing. The node embeddings produced by the encoder are converted into node priorities which are used by the decoder to generate a probability distribution over topological orders. We train our model on a dataset of synthetically generated graphs called layered graphs. We show that our model outperforms, or is on-par, with several topological ordering baselines while being significantly faster on synthetic graphs with up to 2k nodes. We also train and test our model on a set of real-world computation graphs, showing performance improvements.
• Abstract（参考訳）: 組合せ最適化のための機械学習に関する最近の研究は、学習に基づくアプローチが、速度とパフォーマンスの点でヒューリスティックな手法を上回ることを示している。 本稿では,コンパイラで発生するメモリ最小化問題に着目し,有向非巡回グラフ上の最適位相順序を求める問題について考察する。 エンコーダ-デコーダフレームワークを用いたトポロジ的順序付けのためのエンドツーエンドの機械学習に基づくアプローチを提案する。 我々のエンコーダは、メッセージパッシングにDAGの異なるトポロジ変換を使用する、'emph{Topoformer}と呼ばれる新しい注目ベースのグラフニューラルネットワークアーキテクチャである。 エンコーダが生成するノード埋め込みは、デコーダがトポロジカルオーダー上の確率分布を生成するために使用するノードプライオリティに変換される。 我々は、階層グラフと呼ばれる合成グラフのデータセットに基づいてモデルを訓練する。 このモデルでは,最大2kノードの合成グラフにおいて,いくつかのトポロジ的順序付けベースラインで,より高速に動作可能であることを示す。 また、実世界の計算グラフでモデルをトレーニングし、テストし、性能改善を示します。

関連論文リスト

• Ensemble Quadratic Assignment Network for Graph Matching [52.20001802006391]
  グラフマッチングはコンピュータビジョンやパターン認識において一般的に用いられる技法である。 最近のデータ駆動型アプローチは、グラフマッチングの精度を著しく改善した。 データ駆動手法と従来の手法の利点を組み合わせたグラフニューラルネットワーク(GNN)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-11T06:34:05Z)
• Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
  本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。 提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
  論文  参考訳（メタデータ） (2024-01-12T17:57:07Z)
• UniG-Encoder: A Universal Feature Encoder for Graph and Hypergraph Node Classification [6.977634174845066]
  グラフおよびハイパーグラフ表現学習のための普遍的特徴エンコーダ(UniG-Encoder)が設計されている。 アーキテクチャは、連結ノードのトポロジ的関係をエッジやハイパーエッジに前方変換することから始まる。 符号化されたノードの埋め込みは、投影行列の変換によって記述された逆変換から導かれる。
  論文  参考訳（メタデータ） (2023-08-03T09:32:50Z)
• From Hypergraph Energy Functions to Hypergraph Neural Networks [94.88564151540459]
  パラメータ化されたハイパーグラフ正規化エネルギー関数の表現型族を示す。 次に、これらのエネルギーの最小化がノード埋め込みとして効果的に機能することを実証する。 提案した双レベルハイパーグラフ最適化と既存のGNNアーキテクチャを共通的に用いている。
  論文  参考訳（メタデータ） (2023-06-16T04:40:59Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Learning to Learn Graph Topologies [27.782971146122218]
  ノードデータからグラフ構造へのマッピングを学習する(L2O)。 このモデルは、ノードデータとグラフサンプルのペアを使ってエンドツーエンドでトレーニングされる。 合成データと実世界のデータの両方の実験により、我々のモデルは、特定のトポロジ特性を持つグラフを学習する際の古典的反復アルゴリズムよりも効率的であることが示された。
  論文  参考訳（メタデータ） (2021-10-19T08:42:38Z)
• Pyramidal Reservoir Graph Neural Network [18.632681846787246]
  本稿では,2種類の層を置換するディープグラフニューラルネットワーク(GNN)モデルを提案する。 グラフプーリングがモデルの計算複雑性をいかに低減するかを示す。 RCベースGNNの設計に対する提案手法は,精度と複雑性のトレードオフを有利かつ原則的に実現している。
  論文  参考訳（メタデータ） (2021-04-10T08:34:09Z)
• Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。 最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。 本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
  論文  参考訳（メタデータ） (2020-11-19T06:03:35Z)
• Graph Pooling with Node Proximity for Hierarchical Representation Learning [80.62181998314547]
  本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。 その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-19T13:09:44Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)
• Optimal Transport Graph Neural Networks [31.191844909335963]
  現在のグラフニューラルネットワーク(GNN)アーキテクチャは、集約グラフ表現に平均または総和ノードを埋め込む。 本稿では,パラメトリックプロトタイプを用いたグラフ埋め込み計算モデルOT-GNNを紹介する。
  論文  参考訳（メタデータ） (2020-06-08T14:57:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。