論文の概要: Graph Expansion in Pruned Recurrent Neural Network Layers Preserve Performance

• arxiv url: http://arxiv.org/abs/2403.11100v1
• Date: Sun, 17 Mar 2024 06:08:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 18:35:30.782807
• Title: Graph Expansion in Pruned Recurrent Neural Network Layers Preserve Performance
• Title（参考訳）: Pruned Recurrent Neural Network Layersのグラフ拡張による性能向上
• Authors: Suryam Arnav Kalra, Arindam Biswas, Pabitra Mitra, Biswajit Basu,
• Abstract要約: 我々は、RNNやLSTMのような再帰的なネットワークを創り出し、基礎となるグラフのスペクトルギャップを大きく維持する。 また、2部層の性質の観点から、時間展開された再帰的ネットワークグラフについても検討する。
• 参考スコア（独自算出の注目度）: 7.142235510048155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expansion property of a graph refers to its strong connectivity as well as sparseness. It has been reported that deep neural networks can be pruned to a high degree of sparsity while maintaining their performance. Such pruning is essential for performing real time sequence learning tasks using recurrent neural networks in resource constrained platforms. We prune recurrent networks such as RNNs and LSTMs, maintaining a large spectral gap of the underlying graphs and ensuring their layerwise expansion properties. We also study the time unfolded recurrent network graphs in terms of the properties of their bipartite layers. Experimental results for the benchmark sequence MNIST, CIFAR-10, and Google speech command data show that expander graph properties are key to preserving classification accuracy of RNN and LSTM.
• Abstract（参考訳）: グラフの拡張性は、その強い接続性とスパース性を意味する。 ディープニューラルネットワークは、その性能を維持しながら、高い間隔でプルーニング可能であることが報告されている。 このようなプルーニングは、リソース制約のあるプラットフォームにおけるリカレントニューラルネットワークを用いたリアルタイムシーケンス学習タスクの実行に不可欠である。 我々は RNN や LSTM などの再帰的ネットワークを創り出し、基礎となるグラフのスペクトルギャップを大きく維持し、それらの層状展開特性を確実にする。 また、2部層の性質の観点から、時間展開された再帰的ネットワークグラフについても検討する。 ベンチマークシーケンスMNIST, CIFAR-10, Google音声コマンドデータの実験結果から, RNNとLSTMの分類精度を維持するために, 拡張グラフ特性が重要であることが示された。

関連論文リスト

• Multi-View Subgraph Neural Networks: Self-Supervised Learning with Scarce Labeled Data [24.628203785306233]
  長距離依存関係を扱うためのマルチビューサブグラフニューラルネットワーク(Muse)と呼ばれる新しい学習フレームワークを提案する。 部分グラフの2つのビューを融合させることで、学習された表現はグラフの位相的性質を広く保存することができる。 実験の結果,Museは限定ラベル付きデータを用いたノード分類タスクにおいて,代替手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-04-19T01:36:50Z)
• Multicoated and Folded Graph Neural Networks with Strong Lottery Tickets [3.0894823679470087]
  本稿では,アーキテクチャとパラメータの両面から検索空間を拡張するためのマルチステージ・フォールディング法とアンシャレッド・マスク法を提案する。 高空間性、競争性能、高メモリ効率を最大98.7%の削減で達成することにより、エネルギー効率の高いグラフ処理に適していることを示す。
  論文  参考訳（メタデータ） (2023-12-06T02:16:44Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
  時間グラフは連続時間を通してノード間の動的相互作用を示す。 本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。 提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-15T08:17:18Z)
• Simple and Efficient Heterogeneous Graph Neural Network [55.56564522532328]
  不均一グラフニューラルネットワーク(HGNN)は、不均一グラフの豊富な構造的および意味的な情報をノード表現に埋め込む強力な能力を持つ。 既存のHGNNは、同種グラフ上のグラフニューラルネットワーク(GNN)から多くのメカニズム、特に注意機構と多層構造を継承する。 本稿では,これらのメカニズムを詳細に検討し,簡便かつ効率的なヘテロジニアスグラフニューラルネットワーク(SeHGNN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T10:01:46Z)
• Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
  FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。 我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
  論文  参考訳（メタデータ） (2020-06-15T22:07:54Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)
• Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
  本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。 より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
  論文  参考訳（メタデータ） (2020-03-23T10:29:14Z)
• Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks [183.97265247061847]
  我々はグラフ信号処理を活用してグラフニューラルネットワーク(GNN)の表現空間を特徴付ける。 GNNにおけるグラフ畳み込みフィルタの役割について議論し、そのようなフィルタで構築されたアーキテクチャは、置換同値の基本的な性質と位相変化に対する安定性を持つことを示す。 また,ロボット群に対するリコメンデータシステムや分散型コントローラの学習におけるGNNの利用について検討した。
  論文  参考訳（メタデータ） (2020-03-08T13:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。