論文の概要: Matrix Shuffle-Exchange Networks for Hard 2D Tasks

• arxiv url: http://arxiv.org/abs/2006.15892v2
• Date: Mon, 5 Oct 2020 08:55:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 13:36:03.341027
• Title: Matrix Shuffle-Exchange Networks for Hard 2D Tasks
• Title（参考訳）: ハード2次元タスクのためのマトリックスシャッフル交換ネットワーク
• Authors: Em\=ils Ozoli\c{n}\v{s}, K\=arlis Freivalds, Agris \v{S}ostaks
• Abstract要約: Matrix Shuffle-Exchangeネットワークは、2Dデータにおける長距離依存関係を効率的に利用することができる。 畳み込みニューラルネットワークに匹敵する速度を持つ。
• 参考スコア（独自算出の注目度）: 2.4493299476776778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks have become the main tools for processing two-dimensional data. They work well for images, yet convolutions have a limited receptive field that prevents its applications to more complex 2D tasks. We propose a new neural model, called Matrix Shuffle-Exchange network, that can efficiently exploit long-range dependencies in 2D data and has comparable speed to a convolutional neural network. It is derived from Neural Shuffle-Exchange network and has $\mathcal{O}( \log{n})$ layers and $\mathcal{O}( n^2 \log{n})$ total time and space complexity for processing a $n \times n$ data matrix. We show that the Matrix Shuffle-Exchange network is well-suited for algorithmic and logical reasoning tasks on matrices and dense graphs, exceeding convolutional and graph neural network baselines. Its distinct advantage is the capability of retaining full long-range dependency modelling when generalizing to larger instances - much larger than could be processed with models equipped with a dense attention mechanism.
• Abstract（参考訳）: 畳み込みニューラルネットワークは、2次元データを処理する主要なツールとなっている。 画像ではうまく機能するが、畳み込みには、より複雑な2dタスクへの応用を妨げる、限定的な受容領域がある。 本稿では,2次元データにおける長距離依存を効率的に活用し,畳み込みニューラルネットワークと同等の速度で処理できる,Matrix Shuffle-Exchange Networkと呼ばれるニューラルモデルを提案する。 Neural Shuffle-Exchangeネットワークから派生したもので、$\mathcal{O}( \log{n})$ layerと$\mathcal{O}( n^2 \log{n})$ total time and space complexity for processing a $n \times n$ data matrixがある。 行列のシャッフル交換ネットワークは、畳み込みおよびグラフニューラルネットワークのベースラインを超える行列および密グラフのアルゴリズム的および論理的推論タスクに適していることを示す。 その明確な利点は、より大きなインスタンスに一般化する際に完全な長距離依存性モデリングを保持する能力である。

関連論文リスト

• Training Multi-layer Neural Networks on Ising Machine [41.95720316032297]
  本稿では,量子化ニューラルネットワーク(QNN)を学習するためのIsing学習アルゴリズムを提案する。 私たちが知る限りでは、Isingマシン上で多層フィードフォワードネットワークをトレーニングする最初のアルゴリズムである。
  論文  参考訳（メタデータ） (2023-11-06T04:09:15Z)
• NeuralMatrix: Compute the Entire Neural Networks with Linear Matrix Operations for Efficient Inference [20.404864470321897]
  本稿では,ディープニューラルネットワーク(DNN)モデル全体の計算を線形行列演算に弾性的に変換するニューラルマトリックスを提案する。 CNNとトランスフォーマーベースのモデルによる実験は、広範囲のDNNモデルを正確かつ効率的に実行するためのNeuralMatrixの可能性を実証している。 このレベルの効率性は通常、特定のニューラルネットワーク用に設計されたアクセラレータでのみ達成できる。
  論文  参考訳（メタデータ） (2023-05-23T12:03:51Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
  勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。 我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-19T23:41:03Z)
• SITHCon: A neural network robust to variations in input scaling on the time dimension [0.0]
  機械学習では、畳み込みニューラルネットワーク(CNN)はコンピュータビジョンと時間とともに拡張されたパターンの認識の両方に非常に影響を与えている。 本稿では,対数的に分散した時間メモリを用いたSITHCon(Scale-Invariant Temporal History Convolution Network)を提案する。
  論文  参考訳（メタデータ） (2021-07-09T18:11:50Z)
• VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
  我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。 textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
  論文  参考訳（メタデータ） (2021-05-04T04:10:48Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)
• Learning Sparse & Ternary Neural Networks with Entropy-Constrained Trained Ternarization (EC2T) [17.13246260883765]
  ディープニューラルネットワーク(DNN)は、さまざまな機械学習アプリケーションで顕著な成功を収めている。 近年,資源に制約のあるデバイスにDNNを配置することへの関心が高まっている。 本稿では,スパースニューラルネットワークと3次ニューラルネットワークの汎用フレームワークであるEntropy-Constrained Trained Ternarization (EC2T)を提案する。
  論文  参考訳（メタデータ） (2020-04-02T15:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。