論文の概要: Warming up recurrent neural networks to maximise reachable multistability greatly improves learning

• arxiv url: http://arxiv.org/abs/2106.01001v3
• Date: Thu, 20 Jul 2023 12:17:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 19:25:32.003052
• Title: Warming up recurrent neural networks to maximise reachable multistability greatly improves learning
• Title（参考訳）: 到達可能なマルチスタビリティを最大化するリカレントニューラルネットワークのウォーミングアップが学習を大幅に改善
• Authors: Gaspard Lambrechts, Florent De Geeter, Nicolas Vecoven, Damien Ernst, Guillaume Drion
• Abstract要約: ネットワークの安定平衡が増加すると、時間依存のあるタスクの学習が一般的に行われることを示す。 この洞察は、リカレントセル接続を初期化する新しい方法の設計につながる。 いくつかの情報再構成、分類、強化学習ベンチマークにおいて、ウォームアップが学習速度と性能を大幅に向上させることを示す。
• 参考スコア（独自算出の注目度）: 3.118384520557952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training recurrent neural networks is known to be difficult when time dependencies become long. In this work, we show that most standard cells only have one stable equilibrium at initialisation, and that learning on tasks with long time dependencies generally occurs once the number of network stable equilibria increases; a property known as multistability. Multistability is often not easily attained by initially monostable networks, making learning of long time dependencies between inputs and outputs difficult. This insight leads to the design of a novel way to initialise any recurrent cell connectivity through a procedure called "warmup" to improve its capability to learn arbitrarily long time dependencies. This initialisation procedure is designed to maximise network reachable multistability, i.e., the number of equilibria within the network that can be reached through relevant input trajectories, in few gradient steps. We show on several information restitution, sequence classification, and reinforcement learning benchmarks that warming up greatly improves learning speed and performance, for multiple recurrent cells, but sometimes impedes precision. We therefore introduce a double-layer architecture initialised with a partial warmup that is shown to greatly improve learning of long time dependencies while maintaining high levels of precision. This approach provides a general framework for improving learning abilities of any recurrent cell when long time dependencies are present. We also show empirically that other initialisation and pretraining procedures from the literature implicitly foster reachable multistability of recurrent cells.
• Abstract（参考訳）: リカレントニューラルネットワークのトレーニングは、時間依存が長くなると難しいことが知られている。 本研究では、ほとんどの標準セルは初期化時に1つの安定平衡しか持たず、ネットワーク安定平衡の数が増加すると、長い時間依存を持つタスクの学習が一般的に起こることを示す。 マルチスタビリティは、初期のモノスタブルネットワークでは容易に実現できないことが多く、入力と出力の間の長時間の依存関係の学習が困難になる。 この洞察は、"warmup"と呼ばれる手続きを通じて、任意の再帰的な細胞接続を初期化し、任意に長い時間依存を学習する能力を改善する新しい方法の設計に繋がる。 この初期化手順は、ネットワークの到達可能な多重性、すなわち、いくつかの勾配ステップにおいて、関連する入力軌跡を通じて到達可能なネットワーク内の平衡数を最大化するように設計されている。 いくつかの情報復元,シーケンス分類,強化学習ベンチマークについて検討し,複数の繰り返しセルにおいて学習速度と性能が大幅に向上するが,時には精度が損なわれることを示した。 そこで我々は,高レベルな精度を維持しつつ,長時間依存の学習を大幅に改善できる部分ウォームアップを特徴とする二重層アーキテクチャを導入する。 このアプローチは、長期間の依存関係が存在する場合のリカレントセルの学習能力を改善するための一般的なフレームワークを提供する。 また,文献から得られた他の初期化および前訓練法が,再発細胞の到達可能な多重化を暗黙的に促進することを示す。

関連論文リスト

• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks [1.5931140598271163]
  局所的な常時オンおよび位相自由可塑性のみを用いて,効率的な学習シーケンスのモデルを構築した。 鳥の鳴き声学習のモックアップでELiSeの能力を実証し、パラメトリゼーションに関してその柔軟性を実証する。
  論文  参考訳（メタデータ） (2024-02-26T17:30:34Z)
• Online learning of long-range dependencies [7.281873196153901]
  本稿では、1つの推論パスのメモリと計算要求を2倍にする高性能なオンライン学習アルゴリズムを提案する。 合成メモリ問題と挑戦的な長距離アリーナベンチマークスイートの実験により,我々のアルゴリズムが競合的に動作していることが判明した。 この長距離依存を学習する能力は、脳内の学習に対する新たな視点を与え、ニューロモルフィックコンピューティングにおける有望な道を開く。
  論文  参考訳（メタデータ） (2023-05-25T11:37:01Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
  Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2022-02-23T18:23:07Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization [79.42778415729475]
  線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。 このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。 提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
  論文  参考訳（メタデータ） (2020-11-05T14:57:16Z)
• Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
  本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。 より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
  論文  参考訳（メタデータ） (2020-03-23T10:29:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。