Fugu-MT 論文翻訳(概要): Towards Efficient Visual Simplification of Computational Graphs in Deep Neural Networks

論文の概要: Towards Efficient Visual Simplification of Computational Graphs in Deep Neural Networks

arxiv url: http://arxiv.org/abs/2212.10774v1
Date: Wed, 21 Dec 2022 05:17:13 GMT
ステータス: 処理完了
システム内更新日: 2022-12-22 14:20:01.148816
Title: Towards Efficient Visual Simplification of Computational Graphs in Deep Neural Networks
Title（参考訳）: ディープニューラルネットワークにおける計算グラフの効率的なビジュアル化に向けて
Authors: Rusheng Pan, Zhiyong Wang, Yating Wei, Han Gao, Gongchang Ou, Caleb Chen Cao, Jingli Xu, Tong Xu and Wei Chen
Abstract要約: ディープニューラルネットワーク(DNN)の計算グラフは、多くのテンソルと演算子からなる特定のデータフロー図(DFD)を表す。計算グラフを視覚化するための既存のツールキットは、構造が複雑で大規模である場合には適用できない。本稿では, サイクル除去法, モジュールベースのエッジプルーニングアルゴリズム, および同型部分グラフの積み重ね戦略を含む, 視覚的単純化手法のスイートを提案する。
参考スコア（独自算出の注目度）: 16.79256014407765
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A computational graph in a deep neural network (DNN) denotes a specific data flow diagram (DFD) composed of many tensors and operators. Existing toolkits for visualizing computational graphs are not applicable when the structure is highly complicated and large-scale (e.g., BERT [1]). To address this problem, we propose leveraging a suite of visual simplification techniques, including a cycle-removing method, a module-based edge-pruning algorithm, and an isomorphic subgraph stacking strategy. We design and implement an interactive visualization system that is suitable for computational graphs with up to 10 thousand elements. Experimental results and usage scenarios demonstrate that our tool reduces 60% elements on average and hence enhances the performance for recognizing and diagnosing DNN models. Our contributions are integrated into an open-source DNN visualization toolkit, namely, MindInsight [2].
Abstract（参考訳）: ディープニューラルネットワーク(DNN)の計算グラフは、多くのテンソルと演算子からなる特定のデータフロー図(DFD)を表す。計算グラフを視覚化するための既存のツールキットは、構造が複雑で大規模(例えばBERT [1])である場合には適用できない。この問題に対処するため,我々は,周期除去法,モジュールベースのエッジプルーニングアルゴリズム,同型部分グラフスタックング戦略など,視覚的な単純化手法のスイートを活用することを提案する。我々は,最大1万要素の計算グラフに適したインタラクティブな可視化システムを設計し,実装する。実験結果と利用シナリオから,我々のツールは平均60%の要素を削減し,DNNモデルの認識・診断性能を向上させる。私たちのコントリビューションは、オープンソースのDNNビジュアライゼーションツールキット、MindInsight [2]に統合されています。

関連論文リスト

SPGNN: Recognizing Salient Subgraph Patterns via Enhanced Graph Convolution and Pooling [25.555741218526464]
グラフニューラルネットワーク(GNN)は、グラフやネットワークのような非ユークリッドデータ上での機械学習の分野に革命をもたらした。本稿では,ノード表現をインジェクティブに更新する結合型グラフ畳み込み機構を提案する。また,WL-SortPoolと呼ばれるグラフプーリングモジュールを設計し,重要なサブグラフパターンをディープラーニングで学習する。
論文参考訳（メタデータ） (2024-04-21T13:11:59Z)
CONCORD: Towards a DSL for Configurable Graph Code Representation [3.756550107432323]
カスタマイズ可能なグラフ表現を構築するためのドメイン固有言語であるCONCORDを紹介する。実例として,コードの臭い検出に有効であることを示す。 ConCORDは、研究者がカスタマイズ可能なグラフベースのコード表現を作成し、実験するのに役立つ。
論文参考訳（メタデータ） (2024-01-31T16:16:48Z)
DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文参考訳（メタデータ） (2024-01-28T06:43:13Z)
Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文参考訳（メタデータ） (2023-10-23T01:25:44Z)
Layer-wise training for self-supervised learning on graphs [0.0]
大規模グラフ上でのグラフニューラルネットワーク(GNN)のエンドツーエンドトレーニングは、いくつかのメモリと計算上の課題を示す。本稿では,GNN層を自己教師型で学習するアルゴリズムであるレイヤワイズ正規化グラフInfomaxを提案する。
論文参考訳（メタデータ） (2023-09-04T10:23:39Z)
SCARA: Scalable Graph Neural Networks with Feature-Oriented Optimization [23.609017952951454]
グラフ計算のための特徴指向最適化を備えたスケーラブルグラフニューラルネットワーク(GNN)であるSCARAを提案する。 SCARAはノードの特徴からグラフの埋め込みを効率的に計算し、機能の結果を選択して再利用することでオーバーヘッドを減らします。利用可能な最大10億のGNNデータセットであるPapers100M(1110万ノード、1.6Bエッジ)を100秒でプリ計算するのが効率的である。
論文参考訳（メタデータ） (2022-07-19T10:32:11Z)
Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
論文参考訳（メタデータ） (2021-10-29T19:55:12Z)
Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-06-07T15:05:59Z)
GraphTheta: A Distributed Graph Neural Network Learning System With Flexible Training Strategy [5.466414428765544]
新しい分散グラフ学習システムGraphThetaを紹介します。複数のトレーニング戦略をサポートし、大規模グラフ上で効率的でスケーラブルな学習を可能にします。この仕事は、文学における10億規模のネットワーク上で実施された最大のエッジアトリビュートGNN学習タスクを表します。
論文参考訳（メタデータ） (2021-04-21T14:51:33Z)
Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文参考訳（メタデータ） (2020-10-19T21:51:47Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。