論文の概要: Recurrent Neural Network from Adder's Perspective: Carry-lookahead RNN
- arxiv url: http://arxiv.org/abs/2106.12901v1
- Date: Tue, 22 Jun 2021 12:28:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-26 12:41:25.414977
- Title: Recurrent Neural Network from Adder's Perspective: Carry-lookahead RNN
- Title(参考訳): Adder の視点からのリカレントニューラルネットワーク - Carry-lookahead RNN
- Authors: Haowei Jiang, Feiwei Qin, Jin Cao, Yong Peng, Yanli Shao
- Abstract要約: 本稿では、リカレントニューラルネットワーク(RNN)とシリアル加算器の類似性について論じる。
carry-lookahead adder にインスパイアされ、RNN に carry-lookahead モジュールを導入し、RNN の並列実行を可能にする。
- 参考スコア(独自算出の注目度): 9.20540910698296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The recurrent network architecture is a widely used model in sequence
modeling, but its serial dependency hinders the computation parallelization,
which makes the operation inefficient. The same problem was encountered in
serial adder at the early stage of digital electronics. In this paper, we
discuss the similarities between recurrent neural network (RNN) and serial
adder. Inspired by carry-lookahead adder, we introduce carry-lookahead module
to RNN, which makes it possible for RNN to run in parallel. Then, we design the
method of parallel RNN computation, and finally Carry-lookahead RNN (CL-RNN) is
proposed. CL-RNN takes advantages in parallelism and flexible receptive field.
Through a comprehensive set of tests, we verify that CL-RNN can perform better
than existing typical RNNs in sequence modeling tasks which are specially
designed for RNNs.
- Abstract(参考訳): リカレントネットワークアーキテクチャはシーケンスモデリングで広く使われているモデルであるが、そのシリアル依存性は計算の並列化を妨げ、操作効率を損なう。
同じ問題はデジタルエレクトロニクスの初期段階のシリアル加算器でも発生した。
本稿では、リカレントニューラルネットワーク(RNN)とシリアル加算器の類似性について論じる。
carry-lookahead adder にインスパイアされ、RNN に carry-lookahead モジュールを導入し、RNN の並列実行を可能にする。
そこで我々は並列RNN計算法を設計し,最終的にCarry-lookahead RNN (CL-RNN)を提案する。
CL-RNNは並列性とフレキシブル・レセプティブ・フィールドの利点を生かしている。
CL-RNNは,RNNに特化して設計されたシーケンスモデリングタスクにおいて,既存のRNNよりも優れた性能を発揮することを検証した。
関連論文リスト
- On the Computational Complexity and Formal Hierarchy of Second Order
Recurrent Neural Networks [59.85314067235965]
2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN)
有界時間でチューリング完備な RNN のクラスが存在することを証明している。
また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
論文 参考訳(メタデータ) (2023-09-26T06:06:47Z) - Adaptive-saturated RNN: Remember more with less instability [2.191505742658975]
本研究では,2つのアプローチ間の飽和度を動的に調整する適応飽和RNN(asRNN)を提案する。
我々の実験は、いくつかの強力な競合相手と比較して、挑戦的なシーケンス学習ベンチマークにおけるasRNNの結果を奨励することを示した。
論文 参考訳(メタデータ) (2023-04-24T02:28:03Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on
Riemannian Gradient Descent With Illustrations of Speech Processing [74.31472195046099]
我々は、低ランクテンソルトレイン深層ニューラルネットワーク(TT-DNN)を用いて、エンドツーエンドのディープラーニングパイプライン、すなわちLR-TT-DNNを構築する。
LR-TT-DNNと畳み込みニューラルネットワーク(CNN)を組み合わせたハイブリッドモデルを構築し、性能を向上する。
我々の実証的な証拠は、モデルパラメータが少ないLR-TT-DNNとCNN+(LR-TT-DNN)モデルが、TT-DNNとCNN+(LR-TT-DNN)モデルよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-03-11T15:55:34Z) - iRNN: Integer-only Recurrent Neural Network [0.8766022970635899]
精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。
当社のiRNNは、フル精度のものと同等のパフォーマンスを維持しており、スマートフォンへの展開により、ランタイムのパフォーマンスが2倍、モデルサイズが4倍に向上しています。
論文 参考訳(メタデータ) (2021-09-20T20:17:40Z) - BCNN: Binary Complex Neural Network [16.82755328827758]
バイナリニューラルネットワーク(BNN)は、リソース制限のあるハードウェアを備えたエッジサイドアプリケーションにおいて、大きな可能性を秘めている。
本稿では,BNNに複雑な表現を導入し,バイナリ・コンプレックス・ニューラルネットワークを提案する。
BCNNは、複雑な表現を通じて学習能力を強化し、複雑な値の入力データに適用性を拡張することにより、BNNを改善している。
論文 参考訳(メタデータ) (2021-03-28T03:35:24Z) - UCNN: A Convolutional Strategy on Unstructured Mesh [1.871055320062469]
流体力学の機械学習では、フルコネクテッドニューラルネットワーク(FNN)はモデリングのローカル機能のみを使用します。
非構造畳み込みニューラルネットワーク(UCNN)が提案され、重み関数を通じて近隣ノードの特徴を集約し、効果的に活用する。
その結果,UCNNはモデリング過程においてより正確であることが示唆された。
論文 参考訳(メタデータ) (2021-01-12T10:48:25Z) - Scalable Neural Tangent Kernel of Recurrent Architectures [8.487185704099923]
無限幅のディープニューラルネットワーク(DNN)から派生したカーネルは、機械学習タスクの範囲で高いパフォーマンスを提供する。
我々は、リカレントニューラルネットワーク(RNN)に関連するカーネルのファミリーを、平均プーリングを持つ双方向RNNとRNNであるより複雑なアーキテクチャに拡張する。
論文 参考訳(メタデータ) (2020-12-09T04:36:34Z) - Fusion Recurrent Neural Network [88.5550074808201]
我々は、新しい簡潔かつ有望なRNN-Fusion Recurrent Neural Network (Fusion RNN)を提案する。
Fusion RNNはFusionモジュールとTransportモジュールで構成されている。
本研究では,Fusion RNNのシーケンス特徴抽出能力を評価するために,シーケンスデータ,到着推定時刻(ETA)の代表的なデータマイニングタスクを選択し,Fusion RNNに基づく新しいモデルを提案する。
論文 参考訳(メタデータ) (2020-06-07T07:39:49Z) - Visual Commonsense R-CNN [102.5061122013483]
本稿では,新しい教師なし特徴表現学習手法であるVisual Commonsense Region-based Convolutional Neural Network (VC R-CNN)を提案する。
VC R-CNNは、キャプションやVQAのような高レベルのタスクのための改善された視覚領域エンコーダとして機能する。
我々は、画像キャプション、VQA、VCRの3つの一般的なタスクのモデルにおいて、VC R-CNNの機能を広く適用し、それら全体で一貫したパフォーマンス向上を観察する。
論文 参考訳(メタデータ) (2020-02-27T15:51:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。