論文の概要: Improving the Performance and Learning Stability of Parallelizable RNNs Designed for Ultra-Low Power Applications
- arxiv url: http://arxiv.org/abs/2605.11855v1
- Date: Tue, 12 May 2026 09:39:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.761226
- Title: Improving the Performance and Learning Stability of Parallelizable RNNs Designed for Ultra-Low Power Applications
- Title（参考訳）: 超低消費電力アプリケーション用に設計された並列化可能なRNNの性能と学習安定性の改善
- Authors: Julien Brandoit, Arthur Fyon, Damien Ernst, Guillaume Drion,
- Abstract要約: Bistable Memory Recurrent Unit (BMRU) は、超低消費電力RNNのハードウェアとソフトウェアの共同設計を可能にするために導入された。
BMRUパフォーマンスは複雑なシーケンシャルタスクにおいて並列化可能なRNNよりも遅れている。
本稿では,永続記憶を保ちながらフローを復元し,時間経過とともにスキップ接続を生成する累積更新定式化を提案する。
- 参考スコア（独自算出の注目度）: 1.226598527858578
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Sequence learning is dominated by Transformers and parallelizable recurrent neural networks (RNNs) such as state-space models, yet learning long-term dependencies remains challenging, and state-of-the-art designs trade power consumption for performance. The Bistable Memory Recurrent Unit (BMRU) was introduced to enable hardware-software co-design of ultra-low power RNNs: quantized states with hysteresis provide persistent memory while mapping directly to analog primitives. However, BMRU performance lags behind parallelizable RNNs on complex sequential tasks. In this paper, we identify gradient blocking during state updates as a key limitation and propose a cumulative update formulation that restores gradient flow while preserving persistent memory, creating skip-connections through time. This leads to the Cumulative Memory Recurrent Unit (CMRU) and its relaxed variant, the $α$CMRU. Experiments show that the cumulative formulation dramatically improves convergence stability and reduces initialization sensitivity. The CMRU and $α$CMRU match or outperform Linear Recurrent Units (LRUs) and minimal Gated Recurrent Units (minGRUs) across diverse benchmarks at small model sizes, with particular advantages on tasks requiring discrete long-range retention, while the CMRU retains quantized states, persistent memory, and noise-resilient dynamics essential for analog implementation.
- Abstract（参考訳）: シークエンス学習は、状態空間モデルのようなトランスフォーマーと並列化可能なリカレントニューラルネットワーク(RNN)によって支配されているが、長期的な依存関係の学習は依然として困難であり、最先端の設計ではパフォーマンスのための電力消費を交換する。
Bistable Memory Recurrent Unit (BMRU)は、超低消費電力のRNNのハードウェア・ソフトウェア共同設計を可能にするために導入された。
しかし、BMRUのパフォーマンスは複雑なシーケンシャルタスクにおいて並列化可能なRNNよりも遅れている。
本稿では、状態更新時の勾配遮断を鍵の制限として識別し、永続メモリを保ちながら勾配フローを復元する累積更新定式化を提案し、時間をかけてスキップ接続を生成する。
これは累積メモリリカレントユニット(CMRU)と、その緩和版である$α$CMRUに繋がる。
実験により、累積定式化は収束安定性を劇的に改善し、初期化感度を低下させることが示された。
CMRUと$α$CMRUはリニア・リカレント・ユニット(LRU)と最小限のGated Recurrent Units(minGRU)を、小さなモデルサイズで様々なベンチマークで比較した。
関連論文リスト
- Parallelizable memory recurrent units [1.3159512679346688]
本稿では、非線形RNNの永続的メモリ能力とSSMの並列化計算を組み合わせたメモリリカレントユニット(MRU)を新たに導入する。
BMRUは長期依存型タスクにおいて良好な結果が得られ、状態空間モデルと組み合わせて並列化可能で過渡的ダイナミクスと永続メモリを備えたハイブリッドネットワークを構築することができることを示す。
論文 参考訳（メタデータ） (2026-01-14T14:01:11Z) - The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。
鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。
我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
論文 参考訳（メタデータ） (2025-10-03T09:02:33Z) - In-memory Training on Analog Devices with Limited Conductance States via Multi-tile Residual Learning [59.091567092071564]
インメモリトレーニングは通常、デジタルベースラインに合わせて少なくとも8ビットのコンダクタンス状態を必要とする。
ReRAMのような多くの有望な中間デバイスは、製造制約のため、約4ビットの解像度しか提供しない。
本稿では,残差を補うために複数のクロスバータイルを逐次学習する語彙学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-02T19:44:25Z) - mGRADE: Minimal Recurrent Gating Meets Delay Convolutions for Lightweight Sequence Modeling [0.5236468296934584]
mGRADEは、時間的1D-畳み込みと学習可能な間隔を統合したハイブリッドメモリシステムである。
我々は,mGRADEがマルチスケールの時間的特徴を効果的に分離し,保存することを示した。
これは、エッジにおけるメモリ制約付きマルチスケールの時間処理の効率的なソリューションとしてのmGRADEの約束を強調している。
論文 参考訳（メタデータ） (2025-07-02T15:44:35Z) - MINIMALIST: switched-capacitor circuits for efficient in-memory computation of gated recurrent units [0.4941855521192951]
リカレントニューラルネットワーク(RNN)は、時間的シーケンスデータの処理における長年の候補である。
トレーニングパラダイムの最近の進歩は、今では新しい世代の効率的なRNNに影響を与えている。
最小ゲートリカレントユニット(GRU)に基づく合理化およびハードウェア互換アーキテクチャを提案する。
論文 参考訳（メタデータ） (2025-05-13T14:13:41Z) - Bidirectional Linear Recurrent Models for Sequence-Level Multisource Fusion [10.867398697751742]
BLUR(Bidirectional Linear Unit for Recurrent Network)を導入し,前向きおよび後向きの線形リカレントユニット(LRU)を用いて,過去および将来の依存関係を高い計算効率で捕捉する。
逐次画像と時系列データセットの実験により、BLURはトランスフォーマーや従来のRNNをはるかに上回るだけでなく、計算コストを大幅に削減することが明らかになった。
論文 参考訳（メタデータ） (2025-04-11T20:42:58Z) - Fast Training of Recurrent Neural Networks with Stationary State Feedbacks [48.22082789438538]
リカレントニューラルネットワーク(RNN)は最近、Transformerよりも強力なパフォーマンスと高速な推論を実証している。
BPTTを固定勾配フィードバック機構で置き換える新しい手法を提案する。
論文 参考訳（メタデータ） (2025-03-29T14:45:52Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。
状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。
時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
論文 参考訳（メタデータ） (2021-10-26T17:35:21Z) - Online Training of Spiking Recurrent Neural Networks with Phase-Change
Memory Synapses [1.9809266426888898]
専用のニューロモルフィックハードウェア上でのスパイクニューラルネットワーク(RNN)のトレーニングは、依然としてオープンな課題である。
本稿では,PCMデバイスモデルに基づく差分構造アレイのシミュレーションフレームワークを提案する。
我々は,最近提案されたe-prop学習規則を用いて,提案したシミュレーションフレームワークに重みをエミュレートしたスパイクRNNを訓練する。
論文 参考訳（メタデータ） (2021-08-04T01:24:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。