論文の概要: ReLU and Addition-based Gated RNN

• arxiv url: http://arxiv.org/abs/2308.05629v1
• Date: Thu, 10 Aug 2023 15:18:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-11 12:11:59.325906
• Title: ReLU and Addition-based Gated RNN
• Title（参考訳）: ReLUと加算型Gated RNN
• Authors: Rickard Br\"annvall, Henrik Forsgren, Fredrik Sandin and Marcus Liwicki
• Abstract要約: 従来のリカレントゲートの乗算とシグモイド関数を加算とReLUアクティベーションで置き換える。 このメカニズムは、シーケンス処理のための長期メモリを維持するために設計されているが、計算コストは削減されている。
• 参考スコア（独自算出の注目度）: 1.484528358552186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We replace the multiplication and sigmoid function of the conventional recurrent gate with addition and ReLU activation. This mechanism is designed to maintain long-term memory for sequence processing but at a reduced computational cost, thereby opening up for more efficient execution or larger models on restricted hardware. Recurrent Neural Networks (RNNs) with gating mechanisms such as LSTM and GRU have been widely successful in learning from sequential data due to their ability to capture long-term dependencies. Conventionally, the update based on current inputs and the previous state history is each multiplied with dynamic weights and combined to compute the next state. However, multiplication can be computationally expensive, especially for certain hardware architectures or alternative arithmetic systems such as homomorphic encryption. It is demonstrated that the novel gating mechanism can capture long-term dependencies for a standard synthetic sequence learning task while significantly reducing computational costs such that execution time is reduced by half on CPU and by one-third under encryption. Experimental results on handwritten text recognition tasks furthermore show that the proposed architecture can be trained to achieve comparable accuracy to conventional GRU and LSTM baselines. The gating mechanism introduced in this paper may enable privacy-preserving AI applications operating under homomorphic encryption by avoiding the multiplication of encrypted variables. It can also support quantization in (unencrypted) plaintext applications, with the potential for substantial performance gains since the addition-based formulation can avoid the expansion to double precision often required for multiplication.
• Abstract（参考訳）: 従来のリカレントゲートの乗算とシグモイド関数を加算とReLU活性化で置き換える。 この機構は、シーケンス処理のための長期記憶を維持するように設計されているが、計算コストの削減により、制限されたハードウェア上でより効率的な実行やより大きなモデルを実現する。 LSTMやGRUといったゲーティング機構を備えたリカレントニューラルネットワーク(RNN)は、長期的依存関係をキャプチャする能力のため、シーケンシャルデータから学習することに成功している。 従来、現在の入力と前の状態履歴に基づく更新は、それぞれに動的重みを乗算し、結合して次の状態を計算する。 しかし、特に特定のハードウェアアーキテクチャや準同型暗号のような代替算術システムでは、乗算は計算的に高価である。 本機構は,CPU上での実行時間を半減し,暗号化下では3分の1減らすような計算コストを大幅に削減しつつ,標準合成シーケンス学習タスクの長期依存を捕捉できることを実証した。 さらに手書きテキスト認識タスクの実験結果から,従来のGRUやLSTMのベースラインに匹敵する精度を実現するために,提案アーキテクチャをトレーニングできることが示されている。 本論文で導入されたゲーティング機構は,暗号化変数の乗算を回避することにより,同型暗号化で動作するプライバシ保護型AIアプリケーションを可能にする。 また、(暗号化されていない)平文アプリケーションでの量子化もサポートでき、加算ベースの定式化は乗算に必要な倍精度への拡張を避けることができるため、大幅な性能向上の可能性がある。

関連論文リスト

• Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
  スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。 スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。 我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-08T16:34:35Z)
• The Inhibitor: ReLU and Addition-Based Attention for Efficient Transformers [0.0]
  我々は、ドット生成物とソフトマックスに基づく注意を、加算とReLU活性化のみを含む別のメカニズムに置き換える。 これは行列乗法でしばしば必要とされる倍精度への拡張をサイドステップとし、コストのかかるソフトマックス評価を避ける。 より効率的な実行を可能にし、リソース制約のあるハードウェアや同型暗号のような代替の算術システム上で、より大きな量子化トランスフォーマーモデルをサポートする。
  論文  参考訳（メタデータ） (2023-10-03T13:34:21Z)
• Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs [75.40636935415601]
  ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。 インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。 本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:30:27Z)
• Low-Latency Online Multiplier with Reduced Activities and Minimized Interconnect for Inner Product Arrays [0.8078491757252693]
  本稿では,オンライン算術や左から右への算術に基づく低レイテンシ乗算器を提案する。 オンライン算術は、データ依存に関係なく連続した操作を重複させることができる。 オンラインアルゴリズムのシリアルな性質と、アクティブスライスの段階的な増減は、相互接続と信号のアクティビティを最小化する。
  論文  参考訳（メタデータ） (2023-04-06T01:22:27Z)
• Training Integer-Only Deep Recurrent Neural Networks [3.1829446824051195]
  精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。 本手法は, 層正規化, 注意, アクティベーション関数の適応的片方向線形(PWL)近似をサポートする。 提案手法により,RNNベースの言語モデルでエッジデバイス上で実行可能である。
  論文  参考訳（メタデータ） (2022-12-22T15:22:36Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern Recognition on Neuromorphic Hardware [50.380319968947035]
  近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。 文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。 フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。 LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
  論文  参考訳（メタデータ） (2022-05-30T14:30:45Z)
• Structured in Space, Randomized in Time: Leveraging Dropout in RNNs for Efficient Training [18.521882534906972]
  我々は,同じ物理ニューロンの集合をバッチ内にドロップアウトし,列(ロー)レベルの隠された状態空間を作り出すことにより,ドロップアウトパターンを構築することを提案する。 PTBデータセットに基づく言語モデリング、IWSLT De-EnデータセットとEn-Viデータセットを用いたOpenNMTベースの機械翻訳、エンティティ認識シーケンスラベリングの3つの代表的なNLPタスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-06-22T22:44:32Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• PAC-learning gains of Turing machines over circuits and neural networks [1.4502611532302039]
  私達は最低記述の長さの原則を持って来ることができるサンプル効率の潜在的な利益を研究します。 我々はチューリングマシンを用いて普遍的なモデルと回路を表現する。 回路の複雑さと密接性における古典的オープン問題との密接な関係を浮き彫りにする。
  論文  参考訳（メタデータ） (2021-03-23T17:03:10Z)
• Refined Gate: A Simple and Effective Gating Mechanism for Recurrent Units [68.30422112784355]
  本稿では,この問題に対処する一般ゲートリカレントニューラルネットワークにおける新しいゲーティング機構を提案する。 提案したゲートは、抽出された入力特徴とバニラゲートの出力を直接的にショートする。 LSTM, GRU, MGUの3種類のゲートRNNに対して, 提案したゲーティング機構を検証する。
  論文  参考訳（メタデータ） (2020-02-26T07:51:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。