論文の概要: Recurrent Neural Network from Adder's Perspective: Carry-lookahead RNN

• arxiv url: http://arxiv.org/abs/2106.12901v1
• Date: Tue, 22 Jun 2021 12:28:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-26 12:41:25.414977
• Title: Recurrent Neural Network from Adder's Perspective: Carry-lookahead RNN
• Title（参考訳）: Adder の視点からのリカレントニューラルネットワーク - Carry-lookahead RNN
• Authors: Haowei Jiang, Feiwei Qin, Jin Cao, Yong Peng, Yanli Shao
• Abstract要約: 本稿では、リカレントニューラルネットワーク(RNN)とシリアル加算器の類似性について論じる。 carry-lookahead adder にインスパイアされ、RNN に carry-lookahead モジュールを導入し、RNN の並列実行を可能にする。
• 参考スコア（独自算出の注目度）: 9.20540910698296
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recurrent network architecture is a widely used model in sequence modeling, but its serial dependency hinders the computation parallelization, which makes the operation inefficient. The same problem was encountered in serial adder at the early stage of digital electronics. In this paper, we discuss the similarities between recurrent neural network (RNN) and serial adder. Inspired by carry-lookahead adder, we introduce carry-lookahead module to RNN, which makes it possible for RNN to run in parallel. Then, we design the method of parallel RNN computation, and finally Carry-lookahead RNN (CL-RNN) is proposed. CL-RNN takes advantages in parallelism and flexible receptive field. Through a comprehensive set of tests, we verify that CL-RNN can perform better than existing typical RNNs in sequence modeling tasks which are specially designed for RNNs.
• Abstract（参考訳）: リカレントネットワークアーキテクチャはシーケンスモデリングで広く使われているモデルであるが、そのシリアル依存性は計算の並列化を妨げ、操作効率を損なう。 同じ問題はデジタルエレクトロニクスの初期段階のシリアル加算器でも発生した。 本稿では、リカレントニューラルネットワーク(RNN)とシリアル加算器の類似性について論じる。 carry-lookahead adder にインスパイアされ、RNN に carry-lookahead モジュールを導入し、RNN の並列実行を可能にする。 そこで我々は並列RNN計算法を設計し,最終的にCarry-lookahead RNN (CL-RNN)を提案する。 CL-RNNは並列性とフレキシブル・レセプティブ・フィールドの利点を生かしている。 CL-RNNは,RNNに特化して設計されたシーケンスモデリングタスクにおいて,既存のRNNよりも優れた性能を発揮することを検証した。

関連論文リスト

• Accurate Mapping of RNNs on Neuromorphic Hardware with Adaptive Spiking Neurons [2.9410174624086025]
  我々は、SigmaDelta$-low-pass RNN(lpRNN)を、レートベースのRNNをスパイクニューラルネットワーク(SNN)にマッピングするために提示する。 適応スパイキングニューロンモデルは、$SigmaDelta$-modulationを使って信号を符号化し、正確なマッピングを可能にする。 我々は、Intelのニューロモルフィック研究チップLoihiにおけるlpRNNの実装を実演する。
  論文  参考訳（メタデータ） (2024-07-18T14:06:07Z)
• Attention as an RNN [66.5420926480473]
  我々は,そのテキストマンディ・ツー・ワンのRNN出力を効率的に計算できる特別なリカレントニューラルネットワーク(RNN)として注目されることを示す。 本稿では,並列プレフィックススキャンアルゴリズムを用いて,注目のテキストマンディ・ツー・マニーRNN出力を効率よく計算する手法を提案する。 Aarensは、一般的な4つのシーケンシャルな問題設定に散らばる38ドルのデータセットで、Transformersに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-22T19:45:01Z)
• Use of Parallel Explanatory Models to Enhance Transparency of Neural Network Configurations for Cell Degradation Detection [18.214293024118145]
  我々は,ニューラルネットワークの内部動作を照らし,理解するための並列モデルを構築している。 RNNの各層が入力分布を変換して検出精度を高める方法を示す。 同時に、精度の向上を制限するために作用する副作用も発見する。
  論文  参考訳（メタデータ） (2024-04-17T12:22:54Z)
• Quantized Approximately Orthogonal Recurrent Neural Networks [6.524758376347808]
  ORNNにおける重み行列の量子化を探求し、ほぼ直交RNN(QORNN)を量子化する。 本稿では,量子化学習(QAT)と計算予測を組み合わせた2つのQORNN学習手法を提案する。 最も効率的なモデルは、4ビットの量子化であっても、様々な標準ベンチマークで最先端のフル精度ORNN、LSTM、FastRNNと同様の結果が得られる。
  論文  参考訳（メタデータ） (2024-02-05T09:59:57Z)
• On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
  2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。 また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T06:06:47Z)
• Adaptive-saturated RNN: Remember more with less instability [2.191505742658975]
  本研究では,2つのアプローチ間の飽和度を動的に調整する適応飽和RNN(asRNN)を提案する。 我々の実験は、いくつかの強力な競合相手と比較して、挑戦的なシーケンス学習ベンチマークにおけるasRNNの結果を奨励することを示した。
  論文  参考訳（メタデータ） (2023-04-24T02:28:03Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on Riemannian Gradient Descent With Illustrations of Speech Processing [74.31472195046099]
  我々は、低ランクテンソルトレイン深層ニューラルネットワーク(TT-DNN)を用いて、エンドツーエンドのディープラーニングパイプライン、すなわちLR-TT-DNNを構築する。 LR-TT-DNNと畳み込みニューラルネットワーク(CNN)を組み合わせたハイブリッドモデルを構築し、性能を向上する。 我々の実証的な証拠は、モデルパラメータが少ないLR-TT-DNNとCNN+(LR-TT-DNN)モデルが、TT-DNNとCNN+(LR-TT-DNN)モデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-11T15:55:34Z)
• iRNN: Integer-only Recurrent Neural Network [0.8766022970635899]
  精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。 当社のiRNNは、フル精度のものと同等のパフォーマンスを維持しており、スマートフォンへの展開により、ランタイムのパフォーマンスが2倍、モデルサイズが4倍に向上しています。
  論文  参考訳（メタデータ） (2021-09-20T20:17:40Z)
• Fusion Recurrent Neural Network [88.5550074808201]
  我々は、新しい簡潔かつ有望なRNN-Fusion Recurrent Neural Network (Fusion RNN)を提案する。 Fusion RNNはFusionモジュールとTransportモジュールで構成されている。 本研究では,Fusion RNNのシーケンス特徴抽出能力を評価するために,シーケンスデータ,到着推定時刻(ETA)の代表的なデータマイニングタスクを選択し,Fusion RNNに基づく新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-07T07:39:49Z)
• Visual Commonsense R-CNN [102.5061122013483]
  本稿では,新しい教師なし特徴表現学習手法であるVisual Commonsense Region-based Convolutional Neural Network (VC R-CNN)を提案する。 VC R-CNNは、キャプションやVQAのような高レベルのタスクのための改善された視覚領域エンコーダとして機能する。 我々は、画像キャプション、VQA、VCRの3つの一般的なタスクのモデルにおいて、VC R-CNNの機能を広く適用し、それら全体で一貫したパフォーマンス向上を観察する。
  論文  参考訳（メタデータ） (2020-02-27T15:51:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。