論文の概要: A Structure-Aware Framework for Learning Device Placements on Computation Graphs
- arxiv url: http://arxiv.org/abs/2405.14185v2
- Date: Sun, 12 Jan 2025 04:56:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-14 14:21:24.348347
- Title: A Structure-Aware Framework for Learning Device Placements on Computation Graphs
- Title（参考訳）: 計算グラフを用いたデバイス配置学習のための構造認識フレームワーク
- Authors: Shukai Duan, Heng Ping, Nikos Kanakaris, Xiongye Xiao, Panagiotis Kyriakis, Nesreen K. Ahmed, Peiyu Zhang, Guixiang Ma, Mihai Capota, Shahin Nazarian, Theodore L. Willke, Paul Bogdan,
- Abstract要約: 我々は,OpenVINOツールキットから抽出したより小さな計算グラフに頼って,デバイス配置作業のための新しいフレームワークを提案する。
このフレームワークは、グラフの粗大化、ノード表現学習、ポリシー最適化を含む5つのステップで構成されている。
フレームワーク全体をトレーニングするために,配置の実行時間を用いた強化学習を報奨として使用する。
- 参考スコア（独自算出の注目度）: 15.282882425920064
- License:
- Abstract: Computation graphs are Directed Acyclic Graphs (DAGs) where the nodes correspond to mathematical operations and are used widely as abstractions in optimizations of neural networks. The device placement problem aims to identify optimal allocations of those nodes to a set of (potentially heterogeneous) devices. Existing approaches rely on two types of architectures known as grouper-placer and encoder-placer, respectively. In this work, we bridge the gap between encoder-placer and grouper-placer techniques and propose a novel framework for the task of device placement, relying on smaller computation graphs extracted from the OpenVINO toolkit. The framework consists of five steps, including graph coarsening, node representation learning and policy optimization. It facilitates end-to-end training and takes into account the DAG nature of the computation graphs. We also propose a model variant, inspired by graph parsing networks and complex network analysis, enabling graph representation learning and jointed, personalized graph partitioning, using an unspecified number of groups. To train the entire framework, we use reinforcement learning using the execution time of the placement as a reward. We demonstrate the flexibility and effectiveness of our approach through multiple experiments with three benchmark models, namely Inception-V3, ResNet, and BERT. The robustness of the proposed framework is also highlighted through an ablation study. The suggested placements improve the inference speed for the benchmark models by up to 58.2% over CPU execution and by up to 60.24% compared to other commonly used baselines.
- Abstract（参考訳）: 計算グラフはDAG(Directed Acyclic Graphs)であり、ノードは数学的演算に対応し、ニューラルネットワークの最適化の抽象化として広く使用される。
デバイス配置問題は、これらのノードを(潜在的に不均一な)デバイス群に最適に割り当てることを目的としている。
既存のアプローチは、それぞれGrouper-placerとEncoder-placerと呼ばれる2種類のアーキテクチャに依存している。
本研究では,エンコーダプレースとグルーパープレース間のギャップを埋め,OpenVINOツールキットから抽出したより小さな計算グラフに依存するデバイス配置作業のための新しいフレームワークを提案する。
このフレームワークは、グラフの粗大化、ノード表現学習、ポリシー最適化を含む5つのステップで構成されている。
エンドツーエンドのトレーニングを容易にし、計算グラフのDAGの性質を考慮に入れます。
また,グラフ解析ネットワークと複雑なネットワーク解析に着想を得たモデル変種を提案する。
フレームワーク全体をトレーニングするために,配置の実行時間を用いた強化学習を報奨として使用する。
Inception-V3, ResNet, BERTの3つのベンチマークモデルを用いて, 提案手法の柔軟性と有効性を示す。
提案フレームワークの堅牢性も,アブレーション研究を通じて強調されている。
提案された配置により、ベンチマークモデルの推論速度はCPU実行で最大58.2%向上し、他の一般的なベースラインと比較して60.24%向上した。
関連論文リスト
- Amplify Graph Learning for Recommendation via Sparsity Completion [16.32861024767423]
グラフ学習モデルは、協調フィルタリング(CF)ベースのレコメンデーションシステムに広くデプロイされている。
データ疎度の問題により、元の入力のグラフ構造は潜在的な肯定的な嗜好エッジを欠いている。
AGL-SC(Amplify Graph Learning framework)を提案する。
論文 参考訳（メタデータ） (2024-06-27T08:26:20Z) - Graph Transformer GANs with Graph Masked Modeling for Architectural
Layout Generation [153.92387500677023]
本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。
提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。
また,グラフ表現学習のための自己指導型事前学習手法を提案する。
論文 参考訳（メタデータ） (2024-01-15T14:36:38Z) - An FPGA-Based Accelerator for Graph Embedding using Sequential Training Algorithm [0.8403582577557918]
デプロイ後のグラフ構造の変化を処理するために,オンラインシーケンシャルトレーニングアルゴリズムと node2vec を組み合わせることを提案する。
提案されたFPGA実装は、ARM Cortex-A53 CPUのオリジナルのモデルと比較して最大205.25倍の高速化を実現している。
論文 参考訳（メタデータ） (2023-12-23T02:24:59Z) - Bures-Wasserstein Means of Graphs [60.42414991820453]
本研究では,スムーズなグラフ信号分布の空間への埋め込みを通じて,グラフ平均を定義する新しいフレームワークを提案する。
この埋め込み空間において平均を求めることにより、構造情報を保存する平均グラフを復元することができる。
我々は,新しいグラフの意味の存在と特異性を確立し,それを計算するための反復アルゴリズムを提供する。
論文 参考訳（メタデータ） (2023-05-31T11:04:53Z) - Fisher Information Embedding for Node and Graph Learning [5.263910852465186]
本稿では,グラフのための新しい注目型ノード埋め込みフレームワークを提案する。
我々のフレームワークはノード周辺のサブグラフの多重集合のための階層的カーネル上に構築されている。
埋め込みの一般化性と表現性に関する理論的知見を提供する。
論文 参考訳（メタデータ） (2023-05-12T16:15:30Z) - End-to-end Mapping in Heterogeneous Systems Using Graph Representation
Learning [13.810753108848582]
本稿では,エンドツーエンドでプログラム可能なグラフ表現学習フレームワークを提案する。
高レベルのプログラムの複雑さを普遍的な中間表現にマイニングし、特定の計算パターンを抽出し、特定のコア上でどのコードセグメントがベストに動作するかを予測できる。
評価では、スレッドベースの実行と比較して最大速度が6.42倍、最先端技術と比較して2.02倍であることを示す。
論文 参考訳（メタデータ） (2022-04-25T22:13:13Z) - Group Contrastive Self-Supervised Learning on Graphs [101.45974132613293]
グラフ上での自己教師型学習をコントラッシブ手法を用いて研究する。
複数の部分空間におけるグラフの対比により、グラフエンコーダはより豊富な特徴を捉えることができる。
論文 参考訳（メタデータ） (2021-07-20T22:09:21Z) - A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。
AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。
本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
論文 参考訳（メタデータ） (2021-05-22T07:05:48Z) - Ramanujan Bipartite Graph Products for Efficient Block Sparse Neural
Networks [2.4235475271758076]
本稿では,グラフ積の理論を用いて,構造化マルチレベルブロックスパースニューラルネットワークを生成するフレームワークを提案する。
ラマヌジャングラフの積も提案するが、これは与えられた範囲で最高の接続性を与える。
我々は,VGG19とWideResnet-40-4ネットワークを用いて,CIFARデータセット上の画像分類タスクを実験することで,我々のアプローチをベンチマークする。
論文 参考訳（メタデータ） (2020-06-24T05:08:17Z) - Heuristic Semi-Supervised Learning for Graph Generation Inspired by
Electoral College [80.67842220664231]
本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。
テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
論文 参考訳（メタデータ） (2020-06-10T14:48:48Z) - Embedding Graph Auto-Encoder for Graph Clustering [90.8576971748142]
グラフ自動エンコーダ(GAE)モデルは、半教師付きグラフ畳み込みネットワーク(GCN)に基づく
我々は、グラフクラスタリングのための特定のGAEベースのモデルを設計し、その理論、すなわち、埋め込みグラフオートエンコーダ(EGAE)と整合する。
EGAEは1つのエンコーダと2つのデコーダで構成される。
論文 参考訳（メタデータ） (2020-02-20T09:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。