論文の概要: A structure-aware framework for learning device placements on computation graphs

• arxiv url: http://arxiv.org/abs/2405.14185v1
• Date: Thu, 23 May 2024 05:29:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 18:55:13.765495
• Title: A structure-aware framework for learning device placements on computation graphs
• Title（参考訳）: 計算グラフ上のデバイス配置学習のための構造認識フレームワーク
• Authors: Shukai Duan, Heng Ping, Nikos Kanakaris, Xiongye Xiao, Peiyu Zhang, Panagiotis Kyriakis, Nesreen K. Ahmed, Guixiang Ma, Mihai Capota, Shahin Nazarian, Theodore L. Willke, Paul Bogdan,
• Abstract要約: 本稿では,OpenVINOツールキットから抽出したより小さなグラフに頼って,デバイス配置作業のための新しいフレームワークを提案する。 このフレームワークは、グラフの粗大化、ノード表現学習、ポリシー最適化を含む5つのステップで構成されている。 3つのベンチマークモデルを用いた複数の実験により,提案手法の柔軟性と有効性を示す。
• 参考スコア（独自算出の注目度）: 15.282882425920064
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing approaches for device placement ignore the topological features of computation graphs and rely mostly on heuristic methods for graph partitioning. At the same time, they either follow a grouper-placer or an encoder-placer architecture, which requires understanding the interaction structure between code operations. To bridge the gap between encoder-placer and grouper-placer techniques, we propose a novel framework for the task of device placement, relying on smaller computation graphs extracted from the OpenVINO toolkit using reinforcement learning. The framework consists of five steps, including graph coarsening, node representation learning and policy optimization. It facilitates end-to-end training and takes into consideration the directed and acyclic nature of the computation graphs. We also propose a model variant, inspired by graph parsing networks and complex network analysis, enabling graph representation learning and personalized graph partitioning jointly, using an unspecified number of groups. To train the entire framework, we utilize reinforcement learning techniques by employing the execution time of the suggested device placements to formulate the reward. We demonstrate the flexibility and effectiveness of our approach through multiple experiments with three benchmark models, namely Inception-V3, ResNet, and BERT. The robustness of the proposed framework is also highlighted through an ablation study. The suggested placements improve the inference speed for the benchmark models by up to $58.2\%$ over CPU execution and by up to $60.24\%$ compared to other commonly used baselines.
• Abstract（参考訳）: 既存のデバイス配置のアプローチは、計算グラフのトポロジ的特徴を無視し、主にグラフ分割のヒューリスティックな方法に依存している。 同時に、彼らはグルーパー・プレースまたはエンコーダ・プレース・アーキテクチャに従い、コード操作間の相互作用構造を理解する必要がある。 エンコーダプレーサとグルーパープレーサのギャップを埋めるために,強化学習を用いたOpenVINOツールキットから抽出したより小さな計算グラフに頼って,デバイス配置作業のための新しいフレームワークを提案する。 このフレームワークは、グラフの粗大化、ノード表現学習、ポリシー最適化を含む5つのステップで構成されている。 エンドツーエンドのトレーニングを容易にし、計算グラフの有向性と非巡回性を考慮に入れます。 また,グラフ解析ネットワークと複雑なネットワーク解析にインスパイアされたモデル変種を提案し,グラフ表現学習とパーソナライズされたグラフ分割を協調して,不特定数のグループを用いて実現した。 フレームワーク全体をトレーニングするために、提案装置配置の実行時間を用いて強化学習手法を用いて報酬を定式化する。 Inception-V3, ResNet, BERTの3つのベンチマークモデルを用いて, 提案手法の柔軟性と有効性を示す。 提案フレームワークの堅牢性も,アブレーション研究を通じて強調されている。 提案された配置により、ベンチマークモデルの推論速度はCPU実行時に最大58.2\%、他の一般的なベースラインと比較して最大60.24\%向上した。

関連論文リスト

• FedGraph: A Research Library and Benchmark for Federated Graph Learning [40.257355007504074]
  我々はフェデレーショングラフ学習における分散デプロイとベンチマークのための研究ライブラリであるFedGraphを紹介する。 FedGraphは最先端のグラフ学習メソッドをサポートし、システムパフォーマンスを評価するための組み込みのプロファイリングツールを含んでいる。 1億のノードを持つグラフ上で実行される最初のプライバシ保護フェデレーション学習システムを実演する。
  論文  参考訳（メタデータ） (2024-10-08T20:18:18Z)
• Bures-Wasserstein Means of Graphs [60.42414991820453]
  本研究では,スムーズなグラフ信号分布の空間への埋め込みを通じて,グラフ平均を定義する新しいフレームワークを提案する。 この埋め込み空間において平均を求めることにより、構造情報を保存する平均グラフを復元することができる。 我々は,新しいグラフの意味の存在と特異性を確立し,それを計算するための反復アルゴリズムを提供する。
  論文  参考訳（メタデータ） (2023-05-31T11:04:53Z)
• End-to-end Mapping in Heterogeneous Systems Using Graph Representation Learning [13.810753108848582]
  本稿では,エンドツーエンドでプログラム可能なグラフ表現学習フレームワークを提案する。 高レベルのプログラムの複雑さを普遍的な中間表現にマイニングし、特定の計算パターンを抽出し、特定のコア上でどのコードセグメントがベストに動作するかを予測できる。 評価では、スレッドベースの実行と比較して最大速度が6.42倍、最先端技術と比較して2.02倍であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T22:13:13Z)
• Joint Graph Learning and Matching for Semantic Feature Correspondence [69.71998282148762]
  本稿では,グラフマッチングを向上するための信頼度の高いグラフ構造を探索するために,GLAMという共用電子グラフ学習とマッチングネットワークを提案する。 提案手法は,3つの人気ビジュアルマッチングベンチマーク (Pascal VOC, Willow Object, SPair-71k) で評価される。 すべてのベンチマークにおいて、従来の最先端のグラフマッチング手法よりも大きなマージンを達成している。
  論文  参考訳（メタデータ） (2021-09-01T08:24:02Z)
• Effective and Efficient Graph Learning for Multi-view Clustering [173.8313827799077]
  マルチビュークラスタリングのための効率的かつ効率的なグラフ学習モデルを提案する。 本手法はテンソルシャッテンp-ノルムの最小化により異なるビューのグラフ間のビュー類似性を利用する。 提案アルゴリズムは時間経済であり,安定した結果を得るとともに,データサイズによく対応している。
  論文  参考訳（メタデータ） (2021-08-15T13:14:28Z)
• Group Contrastive Self-Supervised Learning on Graphs [101.45974132613293]
  グラフ上での自己教師型学習をコントラッシブ手法を用いて研究する。 複数の部分空間におけるグラフの対比により、グラフエンコーダはより豊富な特徴を捉えることができる。
  論文  参考訳（メタデータ） (2021-07-20T22:09:21Z)
• A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
  本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。 AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。 本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-22T07:05:48Z)
• GraphOpt: Learning Optimization Models of Graph Formation [72.75384705298303]
  本稿では,グラフ構造形成の暗黙的モデルを学ぶエンドツーエンドフレームワークを提案し,その基盤となる最適化機構を明らかにする。 学習した目的は、観測されたグラフプロパティの説明として機能し、ドメイン内の異なるグラフを渡すために自分自身を貸すことができる。 GraphOptは、グラフ内のリンク生成をシーケンシャルな意思決定プロセスとして、最大エントロピー逆強化学習アルゴリズムを用いて解決する。
  論文  参考訳（メタデータ） (2020-07-07T16:51:39Z)
• Ramanujan Bipartite Graph Products for Efficient Block Sparse Neural Networks [2.4235475271758076]
  本稿では,グラフ積の理論を用いて,構造化マルチレベルブロックスパースニューラルネットワークを生成するフレームワークを提案する。 ラマヌジャングラフの積も提案するが、これは与えられた範囲で最高の接続性を与える。 我々は,VGG19とWideResnet-40-4ネットワークを用いて,CIFARデータセット上の画像分類タスクを実験することで,我々のアプローチをベンチマークする。
  論文  参考訳（メタデータ） (2020-06-24T05:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。