論文の概要: PACE: A Parallelizable Computation Encoder for Directed Acyclic Graphs
- arxiv url: http://arxiv.org/abs/2203.10304v1
- Date: Sat, 19 Mar 2022 11:56:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 18:17:24.034850
- Title: PACE: A Parallelizable Computation Encoder for Directed Acyclic Graphs
- Title(参考訳): PACE: 有向非巡回グラフのための並列計算エンコーダ
- Authors: Zehao Dong, Muhan Zhang, Fuhai Li, Yixin Chen
- Abstract要約: 本稿では,ノードを同時に処理し,DAGを並列に符号化する並列化アテンションベース構造(PACE)を提案する。
PACEは、トレーニングと推論速度を大幅に向上した従来のDAGエンコーダよりも効率を向上するだけでなく、スムーズな遅延(DAGエンコーディング)空間を生成する。
- 参考スコア(独自算出の注目度): 30.294095901315746
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optimization of directed acyclic graph (DAG) structures has many
applications, such as neural architecture search (NAS) and probabilistic
graphical model learning. Encoding DAGs into real vectors is a dominant
component in most neural-network-based DAG optimization frameworks. Currently,
most DAG encoders use an asynchronous message passing scheme which sequentially
processes nodes according to the dependency between nodes in a DAG. That is, a
node must not be processed until all its predecessors are processed. As a
result, they are inherently not parallelizable. In this work, we propose a
Parallelizable Attention-based Computation structure Encoder (PACE) that
processes nodes simultaneously and encodes DAGs in parallel. We demonstrate the
superiority of PACE through encoder-dependent optimization subroutines that
search the optimal DAG structure based on the learned DAG embeddings.
Experiments show that PACE not only improves the effectiveness over previous
sequential DAG encoders with a significantly boosted training and inference
speed, but also generates smooth latent (DAG encoding) spaces that are
beneficial to downstream optimization subroutines. Our source code is available
at \url{https://github.com/zehaodong/PACE}
- Abstract(参考訳): 有向非巡回グラフ(dag)構造の最適化には、ニューラルネットワーク探索(nas)や確率的グラフィカルモデル学習といった多くの応用がある。
DAGを実ベクトルにエンコードすることは、ほとんどのニューラルネットワークベースのDAG最適化フレームワークにおいて支配的なコンポーネントである。
現在、ほとんどのDAGエンコーダは非同期メッセージパッシングスキームを使用しており、DAG内のノード間の依存関係に応じて順次ノードを処理する。
つまり、前者がすべて処理されるまでノードは処理してはならない。
結果として、それらは本質的に並列化できない。
本研究では,ノードを同時に処理し,DAGを並列に符号化する並列化アテンションベースの計算構造(PACE)を提案する。
学習されたDAG埋め込みに基づいて最適なDAG構造を探索するエンコーダ依存最適化サブルーチンによるPACEの優位性を示す。
実験により、PACEはトレーニングと推論速度を大幅に向上した従来のDAGエンコーダよりも効率を向上するだけでなく、下流最適化サブルーチンに有利なスムーズな遅延(DAGエンコーディング)空間を生成することが示された。
我々のソースコードは \url{https://github.com/zehaodong/PACE} で入手できる。
関連論文リスト
- Accel-GCN: High-Performance GPU Accelerator Design for Graph Convolution
Networks [12.181052673940465]
グラフ畳み込みネットワーク(GCN)は、様々な領域にわたるグラフデータから潜伏情報を抽出する上で重要である。
本稿では,GCNのためのGPUアクセラレータアーキテクチャであるAccel-GCNを紹介する。
18のベンチマークグラフに対するAccel-GCNの評価では、cuSPARSE、GNNAdvisor、Graph-BLASTをそれぞれ1.17倍、1.86倍、2.94倍で上回っている。
論文 参考訳(メタデータ) (2023-08-22T23:12:17Z) - Structural Re-weighting Improves Graph Domain Adaptation [13.019371337183202]
本研究は,グラフ構造やノード属性による分散シフトの影響について検討する。
構造再重み付け(StruRW)と呼ばれる新しい手法がこの問題に対処するために提案され、合成グラフ、ベンチマークデータセット4つ、高エネルギー物理学における新しい応用についてテストされている。
論文 参考訳(メタデータ) (2023-06-05T20:11:30Z) - ParaGraph: Weighted Graph Representation for Performance Optimization of
HPC Kernels [1.304892050913381]
抽象構文木を拡張した並列アプリケーションのためのグラフベースの新しいプログラム表現を提案する。
提案した表現は,OpenMPコード領域のランタイムを予測するために,グラフニューラルネットワーク(GNN)をトレーニングすることで評価する。
その結果,本手法は実効性があり,実行時予測では 0.004 から 0.01 に RMSE を正規化していることがわかった。
論文 参考訳(メタデータ) (2023-04-07T05:52:59Z) - Performance Embeddings: A Similarity-based Approach to Automatic
Performance Optimization [71.69092462147292]
パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。
本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
論文 参考訳(メタデータ) (2023-03-14T15:51:35Z) - NVDiff: Graph Generation through the Diffusion of Node Vectors [20.424372965054832]
我々は,VGAE構造を取り入れたNVDiffを提案し,サンプルノードベクトルに先立ってフレキシブルなスコアベース生成モデル(SGM)を用いる。
NVDiffフレームワーク上に構築され,グラフの局所的コンテキストとグローバル的コンテキストの両方をキャプチャ可能なアテンションベースのスコアネットワークを導入する。
論文 参考訳(メタデータ) (2022-11-19T20:43:39Z) - Neural Topological Ordering for Computation Graphs [23.225391263047364]
エンコーダ-デコーダフレームワークを用いたトポロジ的順序付けのためのエンドツーエンドの機械学習に基づくアプローチを提案する。
このモデルでは,最大2kノードの合成グラフにおいて,いくつかのトポロジ的順序付けベースラインで,より高速に動作可能であることを示す。
論文 参考訳(メタデータ) (2022-07-13T00:12:02Z) - DASHA: Distributed Nonconvex Optimization with Communication
Compression, Optimal Oracle Complexity, and No Client Synchronization [77.34726150561087]
我々は,分散最適化問題に対する新しい手法であるDASHAを開発し,解析する。
MARINAとは異なり、新しいDASHAとDASHA-MVRは圧縮ベクターのみを送信し、ノードを同期しないため、学習をより実用的なものにしている。
論文 参考訳(メタデータ) (2022-02-02T20:10:40Z) - Distributed stochastic optimization with large delays [59.95552973784946]
大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。
DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
論文 参考訳(メタデータ) (2021-07-06T21:59:49Z) - DAGs with No Curl: An Efficient DAG Structure Learning Approach [62.885572432958504]
近年のDAG構造学習は連続的な非巡回性制約を伴う制約付き連続最適化問題として定式化されている。
本稿では,DAG空間の重み付き隣接行列を直接モデル化し,学習するための新しい学習フレームワークを提案する。
本手法は, 線形および一般化された構造方程式モデルにおいて, ベースラインDAG構造学習法よりも精度が高いが, 効率がよいことを示す。
論文 参考訳(メタデータ) (2021-06-14T07:11:36Z) - Gradient Coding with Dynamic Clustering for Straggler Mitigation [57.9123881133818]
GC-DCは、前回のイテレーションにおけるストラグラーの振る舞いに基づいて、各クラスタ内のストラグラーワーカ数を規制する。
本稿では,GC-DCが従来のGC方式に比べて通信負荷を増大させることなく,各イテレーションの平均完了時間(各イテレーション)を大幅に改善できることを数値的に示す。
論文 参考訳(メタデータ) (2020-11-03T18:52:15Z) - Embedding Graph Auto-Encoder for Graph Clustering [90.8576971748142]
グラフ自動エンコーダ(GAE)モデルは、半教師付きグラフ畳み込みネットワーク(GCN)に基づく
我々は、グラフクラスタリングのための特定のGAEベースのモデルを設計し、その理論、すなわち、埋め込みグラフオートエンコーダ(EGAE)と整合する。
EGAEは1つのエンコーダと2つのデコーダで構成される。
論文 参考訳(メタデータ) (2020-02-20T09:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。