Fugu-MT 論文翻訳(概要): Fading memory as inductive bias in residual recurrent networks

論文の概要: Fading memory as inductive bias in residual recurrent networks

arxiv url: http://arxiv.org/abs/2307.14823v2
Date: Wed, 3 Jan 2024 14:38:02 GMT
ステータス: 処理完了
システム内更新日: 2024-01-04 16:58:27.336881
Title: Fading memory as inductive bias in residual recurrent networks
Title（参考訳）: 残留リカレントネットワークにおける誘導バイアスとしてのフェーディングメモリ
Authors: Igor Dubinin, Felix Effenberger
Abstract要約: 我々は,リアプノフ指数を適切に定義した残差接続が生じる弱結合残差リカレントネットワーク(WCRNN)を導入する。ネットワーク表現性の向上をもたらす効果的な帰納バイアスが生じることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Residual connections have been proposed as an architecture-based inductive bias to mitigate the problem of exploding and vanishing gradients and increased task performance in both feed-forward and recurrent networks (RNNs) when trained with the backpropagation algorithm. Yet, little is known about how residual connections in RNNs influence their dynamics and fading memory properties. Here, we introduce weakly coupled residual recurrent networks (WCRNNs) in which residual connections result in well-defined Lyapunov exponents and allow for studying properties of fading memory. We investigate how the residual connections of WCRNNs influence their performance, network dynamics, and memory properties on a set of benchmark tasks. We show that several distinct forms of residual connections yield effective inductive biases that result in increased network expressivity. In particular, those are residual connections that (i) result in network dynamics at the proximity of the edge of chaos, (ii) allow networks to capitalize on characteristic spectral properties of the data, and (iii) result in heterogeneous memory properties. In addition, we demonstrate how our results can be extended to non-linear residuals and introduce a weakly coupled residual initialization scheme that can be used for Elman RNNs.
Abstract（参考訳）: バックプロパゲーションアルゴリズムでトレーニングした場合,残余接続がアーキテクチャに基づく帰納バイアスとして提案され,勾配の爆発・消滅の問題と,フィードフォワードおよびリカレントネットワーク(RNN)におけるタスク性能が向上した。しかし、RNNの残余接続が、そのダイナミクスやメモリ特性に与える影響についてはほとんど分かっていない。本稿では,弱結合残差再帰ネットワーク(wcrnn)を導入し,残差接続によりリアプノフ指数が明確に定義され,フェージングメモリの特性の研究を可能にする。 WCRNNの残余接続が,一連のベンチマークタスクにおける性能,ネットワークダイナミクス,メモリ特性に与える影響について検討する。残差接続は,ネットワーク表現性が増大する効果的な帰納的バイアスを生じさせることを示した。特に、これらは残留接続である。 (i)カオスのエッジに近接してネットワークのダイナミクスが生まれる。 (ii) ネットワークがデータの特徴的スペクトル特性に乗じることができるようにし、 (iii)不均一なメモリ特性をもたらす。さらに,この結果が非線形残差にどのように拡張できるかを実証し,エルマン RNN に使用できる弱結合残差初期化スキームを導入する。

関連論文リスト

SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection [10.702093960098104]
スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。 ORRC(Residual Connection)を通じて大量の冗長情報を蓄積する新しいトレーニングパラダイムを提案する。次に,SynA(SynA)モジュールを用いて冗長情報をフィルタリングし,背骨における特徴抽出を促進するとともに,ショートカットにおけるノイズや無駄な特徴の影響を抑える。
論文参考訳（メタデータ） (2023-11-11T13:36:27Z)
Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
論文参考訳（メタデータ） (2023-10-05T21:44:18Z)
Differentiable Neural Networks with RePU Activation: with Applications to Score Estimation and Isotonic Regression [7.450181695527364]
整流パワーユニット(RePU)関数によって活性化される微分可能なニューラルネットワークの特性について検討する。 RePUを活性化したディープニューラルネットワークを用いて,スムーズな関数とその導関数を同時に近似するエラー境界を確立する。
論文参考訳（メタデータ） (2023-05-01T00:09:48Z)
Compressed Regression over Adaptive Networks [58.79251288443156]
分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
論文参考訳（メタデータ） (2023-04-07T13:41:08Z)
Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks [19.490903216456758]
スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
論文参考訳（メタデータ） (2022-10-12T16:39:46Z)
Entangled Residual Mappings [59.02488598557491]
残余接続の構造を一般化するために、絡み合った残余写像を導入する。絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
論文参考訳（メタデータ） (2022-06-02T19:36:03Z)
Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文参考訳（メタデータ） (2022-04-01T03:31:27Z)
Image Superresolution using Scale-Recurrent Dense Network [30.75380029218373]
畳み込みニューラルネットワーク(CNN)の設計の最近の進歩は、画像超解像(SR)の性能を大幅に向上させた。残差ブロック内の一連の密接な接続を含む単位上に構築されたスケールリカレントSRアーキテクチャを提案する(Residual Dense Blocks (RDBs))。我々のスケールリカレント設計は、現在の最先端のアプローチに比べてパラメトリックに効率的でありながら、より高いスケール要因の競合性能を提供する。
論文参考訳（メタデータ） (2022-01-28T09:18:43Z)
Unfolding recurrence by Green's functions for optimized reservoir computing [3.7823923040445995]
皮質ネットワークは強くリカレントであり、ニューロンは固有の時間的ダイナミクスを持っている。これにより、ディープフィードフォワードネットワークとは切り離される。本稿では,フィードフォワードネットワークにリンクする可解リカレントネットワークモデルを提案する。
論文参考訳（メタデータ） (2020-10-13T09:17:10Z)
Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
論文参考訳（メタデータ） (2020-09-21T16:32:04Z)
Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。