論文の概要: Fusion Encoder Networks
- arxiv url: http://arxiv.org/abs/2402.15883v2
- Date: Mon, 4 Mar 2024 17:24:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 23:51:55.847919
- Title: Fusion Encoder Networks
- Title（参考訳）: fusion エンコーダネットワーク
- Authors: Stephen Pasteris, Chris Hicks, Vasilios Mavroudis
- Abstract要約: シーケンスを出力にマッピングするニューラルネットワークを作成するアルゴリズムのクラスを提示する。
結果として得られるニューラルネットワークは対数深さのみを持つ(ネットワークを介して伝播するデータの劣化を緩和する)。
FENの最も重要な特性は、一定深度フィードフォワードニューラルネットワークの準線形数を並列にトレーニングすることで学習することである。
- 参考スコア（独自算出の注目度）: 4.9094025705644695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we present fusion encoder networks (FENs): a class of
algorithms for creating neural networks that map sequences to outputs. The
resulting neural network has only logarithmic depth (alleviating the
degradation of data as it propagates through the network) and can process
sequences in linear time (or in logarithmic time with a linear number of
processors). The crucial property of FENs is that they learn by training a
quasi-linear number of constant-depth feed-forward neural networks in parallel.
The fact that these networks have constant depth means that backpropagation
works well. We note that currently the performance of FENs is only conjectured
as we are yet to implement them.
- Abstract（参考訳）: 本稿では,シーケンスを出力にマップするニューラルネットワークを作成するためのアルゴリズムである fusion encoder networks (fens) について述べる。
結果として得られるニューラルネットワークは対数深さ(ネットワークを介して伝播するデータの劣化を緩和する)のみを持ち、線形時間(または線形数のプロセッサで対数時間)でシーケンスを処理できる。
FENの最も重要な特性は、一定深度フィードフォワードニューラルネットワークの準線形数を並列にトレーニングすることで学習することである。
これらのネットワークの深さが一定であることは、バックプロパゲーションがうまく機能することを意味する。
現在、FENのパフォーマンスは、まだ実装されていないため、推測されているだけである。
関連論文リスト
- How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Predictions Based on Pixel Data: Insights from PDEs and Finite Differences [0.0]
本稿では,各観測が行列である時間列の近似を扱う。
比較的小さなネットワークでは、直線法に基づいて、PDEの数値的な離散化のクラスを正確に表現できることが示される。
我々のネットワークアーキテクチャは、典型的に時系列の近似に採用されているものから着想を得ている。
論文 参考訳（メタデータ） (2023-05-01T08:54:45Z) - Properties and Potential Applications of Random Functional-Linked Types
of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。
本稿では周波数領域の観点からRFLNNの特性について考察する。
本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-04-03T13:25:22Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - ItNet: iterative neural networks with small graphs for accurate and
efficient anytime prediction [1.52292571922932]
本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。
CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
論文 参考訳（メタデータ） (2021-01-21T15:56:29Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳（メタデータ） (2020-09-24T17:48:59Z) - Fully Convolutional Networks for Continuous Sign Language Recognition [83.85895472824221]
連続手話認識は、空間次元と時間次元の両方の学習を必要とする困難なタスクである。
本稿では,オンラインSLRのための完全畳み込みネットワーク (FCN) を提案し,弱い注釈付きビデオシーケンスから空間的特徴と時間的特徴を同時に学習する。
論文 参考訳（メタデータ） (2020-07-24T08:16:37Z) - Tensor train decompositions on recurrent networks [60.334946204107446]
マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。
理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
論文 参考訳（メタデータ） (2020-06-09T18:25:39Z) - Brief Announcement: On the Limits of Parallelizing Convolutional Neural
Networks on GPUs [0.45740558095423056]
深層ニューラルネットワーク(DNN)のトレーニングは、大量のパラメータを学習しなければならないため、GPU上でも時間を要するプロセスである。
我々は、トレーニング時間を短縮するために、最先端の非線形ネットワークにおいて、このリッチ並列性を活用する必要性と潜在的な利点を論じる。
論文 参考訳（メタデータ） (2020-05-28T07:51:22Z) - Lossless Compression of Deep Neural Networks [17.753357839478575]
ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。
モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。
生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-01-01T15:04:43Z) - The Power of Linear Recurrent Neural Networks [1.124958340749622]
自己回帰線形,すなわち線形活性化リカレントニューラルネットワーク(LRNN)が,任意の時間依存関数f(t)を近似できることを示す。
LRNNは、最小限のユニット数でMSOタスクのこれまでの最先端を上回ります。
論文 参考訳（メタデータ） (2018-02-09T15:35:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。