論文の概要: Greenformer: Factorization Toolkit for Efficient Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2109.06762v1
- Date: Tue, 14 Sep 2021 15:27:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-15 15:49:34.996558
- Title: Greenformer: Factorization Toolkit for Efficient Deep Neural Networks
- Title(参考訳): greenformer:効率的なディープニューラルネットワークのためのファクタライゼーションツールキット
- Authors: Samuel Cahyawijaya, Genta Indra Winata, Holy Lovenia, Bryan Wilie,
Wenliang Dai, Etsuko Ishii, Pascale Fung
- Abstract要約: Greenformerは、行列分解によるニューラルネットワークの計算を高速化するツールキットである。
実験の結果,Greenformerは幅広いシナリオに有効であることがわかった。
- 参考スコア(独自算出の注目度): 35.47418512373472
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: While the recent advances in deep neural networks (DNN) bring remarkable
success, the computational cost also increases considerably. In this paper, we
introduce Greenformer, a toolkit to accelerate the computation of neural
networks through matrix factorization while maintaining performance.
Greenformer can be easily applied with a single line of code to any DNN model.
Our experimental results show that Greenformer is effective for a wide range of
scenarios. We provide the showcase of Greenformer at
https://samuelcahyawijaya.github.io/greenformer-demo/.
- Abstract(参考訳): 近年のディープニューラルネットワーク(DNN)の進歩は著しく成功したが、計算コストも大幅に増加する。
本稿では,性能を維持しつつ行列因子化によってニューラルネットワークの計算を高速化するツールキット greenformer を提案する。
Greenformerは、任意のDNNモデルに1行のコードで簡単に適用できる。
実験の結果,greenformerは幅広いシナリオに有効であることがわかった。
私たちはgreenformerをhttps://samuelcahyawijaya.github.io/greenformer-demo/で紹介します。
関連論文リスト
- Green Multigrid Network [6.397295511397678]
グリーンラーニングネットワーク(GL)は物理空間におけるグリーン関数を学習し、偏微分方程式(PDE)の未知解作用素を捉えるための解釈可能なモデルとなる
本論文では,グリーン関数の特異性を考慮した演算子学習アルゴリズムであるGreen Multigrid Network (GreenMGNet) を提案する。
先駆的なGLと比較すると、新しいフレームワークは精度と効率が向上し、大幅な改善を実現している。
論文 参考訳(メタデータ) (2024-07-04T03:02:10Z) - LazyGNN: Large-Scale Graph Neural Networks via Lazy Propagation [51.552170474958736]
グラフ表現学習においてより効率的なモデルであるLazyGNNを実現するために,より深いモデルではなく,より浅いモデルによってグラフの長距離依存性をキャプチャすることを提案する。
LazyGNNは、ミニバッチのLazyGNNの開発を通じてさらに加速するために、既存のスケーラブルなアプローチ(サンプリング方法など)と互換性がある。
総合的な実験は、大規模なベンチマークで優れた予測性能とスケーラビリティを示す。
論文 参考訳(メタデータ) (2023-02-03T02:33:07Z) - EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。
この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。
EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
論文 参考訳(メタデータ) (2022-02-22T08:16:58Z) - Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors
to Sequences [55.329402218608365]
本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。
1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。
その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
論文 参考訳(メタデータ) (2022-02-07T16:38:36Z) - Accelerating Large Scale Real-Time GNN Inference using Channel Pruning [7.8799581908375185]
グラフニューラルネットワーク(GNN)は、下流アプリケーションにノード埋め込みを生成する強力なモデルであることが証明されている。
しかし,GNN推論の計算複雑性が高いため,大規模アプリケーションやリアルタイムアプリケーションにGNNをデプロイすることは困難である。
本稿では,各層内の次元を精度損失なく刈り取ることで,gnn推定を高速化することを提案する。
論文 参考訳(メタデータ) (2021-05-10T17:28:44Z) - Boost then Convolve: Gradient Boosting Meets Graph Neural Networks [6.888700669980625]
グラデーションブースト決定木(gbdt)は,異種データに対して他の機械学習手法よりも優れていることが示されている。
我々は,gbdt と gnn を共同で訓練し,両世界のベストを勝ち取る新しいアーキテクチャを提案する。
我々のモデルは、GNNの勾配更新に新しい木を適合させることにより、エンドツーエンドの最適化の恩恵を受ける。
論文 参考訳(メタデータ) (2021-01-21T10:46:41Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳(メタデータ) (2020-12-31T18:48:58Z) - Graph Neural Network for Large-Scale Network Localization [35.29322617956428]
グラフニューラルネットワーク(GNN)は、機械学習のコンテキストにおいて構造化データの分類に使用される。
本研究では,古典的だが難解な非線形回帰問題,すなわちネットワークローカライゼーションにGNNを採用する。
まず、GNNは、精度、堅牢性、計算時間の観点から、大規模ネットワークローカライゼーションの最適解である可能性がある。
論文 参考訳(メタデータ) (2020-10-22T12:39:26Z) - Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。
$Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文 参考訳(メタデータ) (2020-06-20T16:23:32Z) - Adaptive Explainable Neural Networks (AxNNs) [8.949704905866888]
我々は、予測性能とモデル解釈可能性の両目標を達成するために、Adaptive Explainable Neural Networks (AxNN) と呼ばれる新しいフレームワークを開発した。
予測性能向上のために,一般化された付加的モデルネットワークと付加的インデックスモデルからなる構造化ニューラルネットワークを構築した。
本稿では,AxNNの結果を主効果と高次相互作用効果に分解する方法を示す。
論文 参考訳(メタデータ) (2020-04-05T23:40:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。