論文の概要: On the Role of Depth in the Expressivity of RNNs

• arxiv url: http://arxiv.org/abs/2604.02201v1
• Date: Thu, 02 Apr 2026 15:56:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.904261
• Title: On the Role of Depth in the Expressivity of RNNs
• Title（参考訳）: RNNの表現性における深さの役割について
• Authors: Maude Lizaire, Michael Rizvi-Martel, Éric Dupuis, Guillaume Rabusseau,
• Abstract要約: 本研究では,パラメータ数に関して,RNNのメモリ容量を効率的に増大させることを示す。 2RNNは入力と隠れ状態の間の乗法的相互作用を持つRNNの一般化である。 さらに、乗法的相互作用は一般に階層的に非線形に置き換えることができないことを示す。
• 参考スコア（独自算出の注目度）: 7.2836191632436025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The benefits of depth in feedforward neural networks are well known: composing multiple layers of linear transformations with nonlinear activations enables complex computations. While similar effects are expected in recurrent neural networks (RNNs), it remains unclear how depth interacts with recurrence to shape expressive power. Here, we formally show that depth increases RNNs' memory capacity efficiently with respect to the number of parameters, thus enhancing expressivity both by enabling more complex input transformations and improving the retention of past information. We broaden our analysis to 2RNNs, a generalization of RNNs with multiplicative interactions between inputs and hidden states. Unlike RNNs, which remain linear without nonlinear activations, 2RNNs perform polynomial transformations whose maximal degree grows with depth. We further show that multiplicative interactions cannot, in general, be replaced by layerwise nonlinearities. Finally, we validate these insights empirically on synthetic and real-world tasks.
• Abstract（参考訳）: フィードフォワードニューラルネットワークにおける深さの利点はよく知られており、非線形活性化を伴う線形変換の複数の層を構成することで複雑な計算が可能になる。 同様の効果はリカレントニューラルネットワーク(RNN)で期待されているが、深度が表現力の再現とどのように相互作用するかは定かではない。 本稿では,RNNのメモリ容量をパラメータ数に対して効率的に増加させることで,より複雑な入力変換を実現し,過去の情報の保持を改善することにより,表現性の向上を図っている。 2RNNは入力と隠れ状態の間の乗法的相互作用を持つRNNの一般化である。 非線形なアクティベーションなしで線形なRNNとは異なり、2RNNは最大度が深さとともに増加する多項式変換を行う。 さらに、乗法的相互作用は一般に階層的に非線形に置き換えることができないことを示す。 最後に、これらの知見を人工的および実世界のタスクで実証的に検証する。

関連論文リスト

• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Deep Learning as Ricci Flow [38.27936710747996]
  ディープニューラルネットワーク(DNN)は、複雑なデータの分布を近似する強力なツールである。 分類タスク中のDNNによる変換は、ハミルトンのリッチ流下で期待されるものと類似していることを示す。 本研究の成果は, 微分幾何学や離散幾何学から, 深層学習における説明可能性の問題まで, ツールの利用を動機づけるものである。
  論文  参考訳（メタデータ） (2024-04-22T15:12:47Z)
• On the Benefits of Biophysical Synapses [10.518340300810504]
  生物物理学的なシナプスの使用は, LTCで見られるように, 2つの大きな利点があることが示されている。 まず、与えられたニューロンとシナプスのパラメータを増やすことができる。 第二に、状態依存係数を持つ線形系として非線形ネットワーク変換を定式化することができる。
  論文  参考訳（メタデータ） (2023-03-08T23:39:37Z)
• Transformed Low-Rank Parameterization Can Help Robust Generalization for Tensor Neural Networks [32.87980654923361]
  Tenor Singular Value Decomposition (t-SVD)はマルチチャネルデータ表現において大きな成功を収めた。 t-SVDがt-NNの学習行動に理論的にどう影響するかはまだ不明である。 本論文は、標準および逆向きに訓練されたt-NNの一般化誤差の上限を導出することにより、この問題に最初に答えるものである。
  論文  参考訳（メタデータ） (2023-03-01T03:05:40Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
  メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。 本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
  論文  参考訳（メタデータ） (2021-04-07T03:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。