論文の概要: Recurrent Graph Tensor Networks: A Low-Complexity Framework for Modelling High-Dimensional Multi-Way Sequence

• arxiv url: http://arxiv.org/abs/2009.08727v5
• Date: Tue, 11 May 2021 12:40:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 02:22:37.484190
• Title: Recurrent Graph Tensor Networks: A Low-Complexity Framework for Modelling High-Dimensional Multi-Way Sequence
• Title（参考訳）: リカレントグラフテンソルネットワーク:高次元マルチウェイシーケンスのモデリングのための低複雑さフレームワーク
• Authors: Yao Lei Xu, Danilo P. Mandic
• Abstract要約: 我々は、リカレントニューラルネットワーク(RNN)における隠れ状態のモデリングを近似するグラフフィルタフレームワークを開発する。 提案するフレームワークは、複数のマルチウェイシーケンスモデリングタスクを通じて検証され、従来のRNNに対してベンチマークされる。 提案したRGTNは,標準RNNよりも優れるだけでなく,従来のRNNと関連する次元の曲線を緩和できることを示す。
• 参考スコア（独自算出の注目度）: 24.594587557319837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent Neural Networks (RNNs) are among the most successful machine learning models for sequence modelling, but tend to suffer from an exponential increase in the number of parameters when dealing with large multidimensional data. To this end, we develop a multi-linear graph filter framework for approximating the modelling of hidden states in RNNs, which is embedded in a tensor network architecture to improve modelling power and reduce parameter complexity, resulting in a novel Recurrent Graph Tensor Network (RGTN). The proposed framework is validated through several multi-way sequence modelling tasks and benchmarked against traditional RNNs. By virtue of the domain aware information processing of graph filters and the expressive power of tensor networks, we show that the proposed RGTN is capable of not only out-performing standard RNNs, but also mitigating the Curse of Dimensionality associated with traditional RNNs, demonstrating superior properties in terms of performance and complexity.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)はシーケンスモデリングにおいて最も成功した機械学習モデルであるが、大規模な多次元データを扱う際にパラメータ数が指数関数的に増加する傾向にある。 そこで我々は,rnnにおける隠れ状態のモデル化を近似するマルチリニアグラフフィルタフレームワークを開発した。これは,モデリング能力の向上とパラメータの複雑さの低減を目的としてテンソルネットワークアーキテクチャに組み込まれており,新たなリカレントグラフテンソルネットワーク(rgtn)が実現されている。 提案するフレームワークは、複数のマルチウェイシーケンスモデリングタスクを通じて検証され、従来のRNNに対してベンチマークされる。 グラフフィルタのドメイン認識情報処理とテンソルネットワークの表現力により,提案したRGTNは標準RNNよりも優れるだけでなく,従来のRNNに付随する次元の曲線を緩和し,性能と複雑性の点で優れた特性を示す。

関連論文リスト

• Multicoated and Folded Graph Neural Networks with Strong Lottery Tickets [3.0894823679470087]
  本稿では,アーキテクチャとパラメータの両面から検索空間を拡張するためのマルチステージ・フォールディング法とアンシャレッド・マスク法を提案する。 高空間性、競争性能、高メモリ効率を最大98.7%の削減で達成することにより、エネルギー効率の高いグラフ処理に適していることを示す。
  論文  参考訳（メタデータ） (2023-12-06T02:16:44Z)
• Equivariant Matrix Function Neural Networks [1.8717045355288808]
  解析行列同変関数を通じて非局所的相互作用をパラメータ化する新しいアーキテクチャであるマトリックス関数ニューラルネットワーク(MFNs)を導入する。 MFNは量子系の複雑な非局所的な相互作用を捉えることができ、新しい最先端の力場への道を歩むことができる。
  論文  参考訳（メタデータ） (2023-10-16T14:17:00Z)
• MGNNI: Multiscale Graph Neural Networks with Implicit Layers [53.75421430520501]
  暗黙グラフニューラルネットワーク(GNN)は、基礎となるグラフの長距離依存性をキャプチャするために提案されている。 暗黙的GNNの2つの弱点は、長距離依存を捉えるための限られた有効範囲による制約付き表現性と、複数の解像度でグラフ上のマルチスケール情報をキャプチャする能力の欠如である。 グラフ上のマルチスケール構造をモデル化できる暗黙の層(MGNNI)を持つマルチスケールグラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-15T18:18:55Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Sparsifying the Update Step in Graph Neural Networks [15.446125349239534]
  更新ステップとして知られるMPNNのトレーニング可能な部分にスパシフィケーションが及ぼす影響について検討する。 具体的には、調整可能なスペーシングレートを持つExpanderGNNモデルと、更新ステップに線形変換を持たないActivation-Only GNNを提案する。 我々の新しいベンチマークモデルは、モデルパフォーマンスに対するアップデートのステップの影響をよりよく理解することを可能にする。
  論文  参考訳（メタデータ） (2021-09-02T13:06:34Z)
• Tensor Networks for Multi-Modal Non-Euclidean Data [24.50116388903113]
  本稿では,グラフ,テンソル,ニューラルネットワークの望ましい特性を物理的に有意義でコンパクトな方法で活用する,新しいマルチグラフネットワーク(mgtn)フレームワークを提案する。 これによりMGTNは不規則なデータソースのローカル情報をパラメータの複雑さを大幅に減らすことができる。 MGTNフレームワークの利点、特にテンソルネットワークの固有の低ランク正規化特性による過度な適合を回避する能力が示されている。
  論文  参考訳（メタデータ） (2021-03-27T21:33:46Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。