論文の概要: Benchmark Tests of Convolutional Neural Network and Graph Convolutional Network on HorovodRunner Enabled Spark Clusters

• arxiv url: http://arxiv.org/abs/2005.05510v1
• Date: Tue, 12 May 2020 01:36:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 19:54:35.721298
• Title: Benchmark Tests of Convolutional Neural Network and Graph Convolutional Network on HorovodRunner Enabled Spark Clusters
• Title（参考訳）: horovodrunner対応sparkクラスタにおける畳み込みニューラルネットワークとグラフ畳み込みネットワークのベンチマークテスト
• Authors: Jing Pan, Wendao Liu, Jing Zhou
• Abstract要約: 我々はHorovodRunnerが畳み込みニューラルネットワークに基づくタスクのスケーリング効率を大幅に向上することを示す。 私たちはまた、HorovodRunnerで初めてRectified Adamを実装しました。
• 参考スコア（独自算出の注目度）: 12.668274162547942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The freedom of fast iterations of distributed deep learning tasks is crucial for smaller companies to gain competitive advantages and market shares from big tech giants. HorovodRunner brings this process to relatively accessible spark clusters. There have been, however, no benchmark tests on HorovodRunner per se, nor specifically graph convolutional network (GCN, hereafter), and very limited scalability benchmark tests on Horovod, the predecessor requiring custom built GPU clusters. For the first time, we show that Databricks' HorovodRunner achieves significant lift in scaling efficiency for the convolutional neural network (CNN, hereafter) based tasks on both GPU and CPU clusters, but not the original GCN task. We also implemented the Rectified Adam optimizer for the first time in HorovodRunner.
• Abstract（参考訳）: 分散型ディープラーニングタスクの高速イテレーションの自由は、大企業の競争上の優位性と市場シェアを獲得する上で非常に重要である。 HorovodRunnerはこのプロセスを比較的アクセスしやすいスパーククラスタに持ち込む。 しかし、HorovodRunner自体のベンチマークテストは存在せず、特にグラフ畳み込みネットワーク(GCN)や、独自に構築されたGPUクラスタを必要とする以前のHorovodの非常に限定的なスケーラビリティベンチマークテストは存在していない。 初めて、DatabricksのHorovodRunnerは、畳み込みニューラルネットワーク(CNN)ベースのタスクをGPUとCPUクラスタの両方で実行することで、スケーリング効率を大幅に向上するが、元のGCNタスクではないことを示す。 また、HorovodRunnerで初めてRectified Adamオプティマイザを実装しました。

関連論文リスト

• Multicoated and Folded Graph Neural Networks with Strong Lottery Tickets [3.0894823679470087]
  本稿では,アーキテクチャとパラメータの両面から検索空間を拡張するためのマルチステージ・フォールディング法とアンシャレッド・マスク法を提案する。 高空間性、競争性能、高メモリ効率を最大98.7%の削減で達成することにより、エネルギー効率の高いグラフ処理に適していることを示す。
  論文  参考訳（メタデータ） (2023-12-06T02:16:44Z)
• Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
  グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。 しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。 GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-08-23T12:27:55Z)
• You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets [105.24703398193843]
  グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。 得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。 また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
  論文  参考訳（メタデータ） (2022-11-28T14:17:36Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Ginex: SSD-enabled Billion-scale Graph Neural Network Training on a Single Machine via Provably Optimal In-memory Caching [3.0479527348064197]
  グラフニューラルネットワーク(GNN)は、構造化データ上の様々なグラフタスクを効果的に提供する強力なツールとして注目を浴びている。 実世界のグラフのサイズが拡大を続けるにつれ、GNNトレーニングシステムはスケーラビリティの課題に直面している。 我々は,1台のマシン上で数十億のグラフデータセットを処理可能な,SSDベースの初のGNNトレーニングシステムであるGinexを提案する。
  論文  参考訳（メタデータ） (2022-08-19T04:57:18Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• TC-GNN: Bridging Sparse GNN Computation and Dense Tensor Cores on GPUs [21.63854538768414]
  我々はGPUコアユニット(TCU)をベースとした最初のGNNフレームワークであるTC-GNNを提案する。 中心となるアイデアは、"スパース"GNNを高性能な"デンス"TCUと整合させることである。 厳密な実験は、最先端のDGLフレームワーク上で平均1.70のスピードアップを示している。
  論文  参考訳（メタデータ） (2021-12-03T18:06:23Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Bi-GCN: Binary Graph Convolutional Network [57.733849700089955]
  ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。 我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
  論文  参考訳（メタデータ） (2020-10-15T07:26:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。