Fugu-MT 論文翻訳(概要): Fixed-Point RNNs: From Diagonal to Dense in a Few Iterations

論文の概要: Fixed-Point RNNs: From Diagonal to Dense in a Few Iterations

arxiv url: http://arxiv.org/abs/2503.10799v1
Date: Thu, 13 Mar 2025 18:50:22 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-17 13:06:33.571330
Title: Fixed-Point RNNs: From Diagonal to Dense in a Few Iterations
Title（参考訳）: 固定点RNN:いくつかのイテレーションにおける対角線から高線へ
Authors: Sajad Movahedi, Felix Sarnthein, Nicola Muca Cirone, Antonio Orvieto,
Abstract要約: 我々は,高密度線形RNNを並列化可能な対角線RNNの固定点として1層に計算する。一般的なおもちゃのタスクである$A_5$, $S_5$, copying, and modular arithmeticsで最先端の結果を得る。
参考スコア（独自算出の注目度）: 10.851383867834052
License:
Abstract: Linear recurrent neural networks (RNNs) and state-space models (SSMs) such as Mamba have become promising alternatives to softmax-attention as sequence mixing layers in Transformer architectures. Current models, however, do not exhibit the full state-tracking expressivity of RNNs because they rely on channel-wise (i.e. diagonal) sequence mixing. In this paper, we propose to compute a dense linear RNN as the fixed-point of a parallelizable diagonal linear RNN in a single layer. We explore mechanisms to improve its memory and state-tracking abilities in practice, and achieve state-of-the-art results on the commonly used toy tasks $A_5$, $S_5$, copying, and modular arithmetics. We hope our results will open new avenues to more expressive and efficient sequence mixers.
Abstract（参考訳）: Mambaのような線形リカレントニューラルネットワーク(RNN)やステートスペースモデル(SSM)は、トランスフォーマーアーキテクチャにおけるシーケンス混合層としてのソフトマックスアテンションに代わる有望な代替手段となっている。しかし、現在のモデルはチャネルワイド(対角)配列の混合に依存するため、RNNの完全な状態追跡表現性は示さない。本稿では,1層に並列化可能な対角線RNNの固定点として高密度線形RNNを計算することを提案する。我々は,そのメモリと状態追跡能力を実際に改善するためのメカニズムを探求し,一般的なおもちゃのタスクである$A_5$,$S_5$,コピー,モジュラー演算の最先端結果を得る。我々は、より表現力があり効率的なシーケンスミキサーに新しい道を開くことを願っている。

関連論文リスト

HadamRNN: Binary and Sparse Ternary Orthogonal RNNs [6.524758376347808]
ニューラルネットワークにおけるバイナリおよびスパース3次重みは、より高速な計算とより軽い表現を可能にする。バニラRNNは、反復重みの変化に非常に敏感であり、これらの重みの双対化と三元化は本質的に困難である。本稿では,アダマール行列の特性を利用して二進行列および三進行列のサブセットをパラメータ化する手法を提案する。
論文参考訳（メタデータ） (2025-01-28T09:16:28Z)
Unlocking State-Tracking in Linear RNNs Through Negative Eigenvalues [65.41946981594567]
Mamba、RWKV、GLA、mLSTM、DeltaNetは、長いシーケンスでTransformerの効率的な代替手段として登場した。しかし、TransformerとLRNNはどちらも状態追跡に苦労しており、コード評価などのタスクではパフォーマンスを損なう可能性がある。本研究では,Mamba と DeltaNet の固有値範囲を負の値を含むように拡張することで,状態追跡タスクの性能が向上することを示す。
論文参考訳（メタデータ） (2024-11-19T14:35:38Z)
Accurate Mapping of RNNs on Neuromorphic Hardware with Adaptive Spiking Neurons [2.9410174624086025]
我々は、SigmaDelta$-low-pass RNN(lpRNN)を、レートベースのRNNをスパイクニューラルネットワーク(SNN)にマッピングするために提示する。適応スパイキングニューロンモデルは、$SigmaDelta$-modulationを使って信号を符号化し、正確なマッピングを可能にする。我々は、Intelのニューロモルフィック研究チップLoihiにおけるlpRNNの実装を実演する。
論文参考訳（メタデータ） (2024-07-18T14:06:07Z)
Attention as an RNN [66.5420926480473]
我々は,そのテキストマンディ・ツー・ワンのRNN出力を効率的に計算できる特別なリカレントニューラルネットワーク(RNN)として注目されることを示す。本稿では,並列プレフィックススキャンアルゴリズムを用いて,注目のテキストマンディ・ツー・マニーRNN出力を効率よく計算する手法を提案する。 Aarensは、一般的な4つのシーケンシャルな問題設定に散らばる38ドルのデータセットで、Transformersに匹敵するパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-05-22T19:45:01Z)
Adaptive-saturated RNN: Remember more with less instability [2.191505742658975]
本研究では,2つのアプローチ間の飽和度を動的に調整する適応飽和RNN(asRNN)を提案する。我々の実験は、いくつかの強力な競合相手と比較して、挑戦的なシーケンス学習ベンチマークにおけるasRNNの結果を奨励することを示した。
論文参考訳（メタデータ） (2023-04-24T02:28:03Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
Recurrent Neural Network from Adder's Perspective: Carry-lookahead RNN [9.20540910698296]
本稿では、リカレントニューラルネットワーク(RNN)とシリアル加算器の類似性について論じる。 carry-lookahead adder にインスパイアされ、RNN に carry-lookahead モジュールを導入し、RNN の並列実行を可能にする。
論文参考訳（メタデータ） (2021-06-22T12:28:33Z)
Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-02-07T14:19:07Z)
DiffRNN: Differential Verification of Recurrent Neural Networks [3.4423518864863154]
リカレントニューラルネットワーク(RNN)は、画像処理、データ分類、音声認識、自律システムにおけるコントローラなど、さまざまなアプリケーションで人気を集めている。構造的に類似した2つのニューラルネットワークの等価性を証明するための最初の差分検証手法であるDIFFRNNを提案する。各種ベンチマークにおいて本手法の有効性を実証し,DIFFRNNがPOPQORNのような最先端の検証ツールより優れていることを示す。
論文参考訳（メタデータ） (2020-07-20T14:14:35Z)
Matrix Smoothing: A Regularization for DNN with Transition Matrix under Noisy Labels [54.585681272543056]
ノイズラベルの存在下でのディープニューラルネットワーク(DNN)のトレーニングは重要かつ困難な課題である。最近の確率論的手法はDNNへの遷移行列を直接適用し、DNNの過剰適合に対する感受性を無視する。そこで本稿では,DNN更新にスムーズな遷移行列を用いてオーバーフィッティングを制限する手法を提案する。
論文参考訳（メタデータ） (2020-03-26T13:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。