論文の概要: Online learning of long-range dependencies

• arxiv url: http://arxiv.org/abs/2305.15947v2
• Date: Mon, 6 Nov 2023 19:29:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 19:30:16.645578
• Title: Online learning of long-range dependencies
• Title（参考訳）: 長距離依存のオンライン学習
• Authors: Nicolas Zucchet, Robert Meier, Simon Schug, Asier Mujika, Jo\~ao Sacramento
• Abstract要約: 本稿では、1つの推論パスのメモリと計算要求を2倍にする高性能なオンライン学習アルゴリズムを提案する。 合成メモリ問題と挑戦的な長距離アリーナベンチマークスイートの実験により,我々のアルゴリズムが競合的に動作していることが判明した。 この長距離依存を学習する能力は、脳内の学習に対する新たな視点を与え、ニューロモルフィックコンピューティングにおける有望な道を開く。
• 参考スコア（独自算出の注目度）: 7.281873196153901
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online learning holds the promise of enabling efficient long-term credit assignment in recurrent neural networks. However, current algorithms fall short of offline backpropagation by either not being scalable or failing to learn long-range dependencies. Here we present a high-performance online learning algorithm that merely doubles the memory and computational requirements of a single inference pass. We achieve this by leveraging independent recurrent modules in multi-layer networks, an architectural motif that has recently been shown to be particularly powerful. Experiments on synthetic memory problems and on the challenging long-range arena benchmark suite reveal that our algorithm performs competitively, establishing a new standard for what can be achieved through online learning. This ability to learn long-range dependencies offers a new perspective on learning in the brain and opens a promising avenue in neuromorphic computing.
• Abstract（参考訳）: オンライン学習は、リカレントニューラルネットワークにおける効率的な長期クレジット割り当てを可能にするという約束を持っている。 しかしながら、現在のアルゴリズムは、スケーラブルでないか、長距離依存関係を学習できないかによって、オフラインのバックプロパゲーションに欠けています。 本稿では、1つの推論パスのメモリと計算要求を2倍にするだけでよい高性能オンライン学習アルゴリズムを提案する。 我々は、最近、特に強力なアーキテクチャモチーフであるマルチレイヤネットワークにおいて、独立したリカレントモジュールを活用することで、これを実現する。 合成メモリ問題の実験と、挑戦的な長距離アリーナベンチマークスイートでは、我々のアルゴリズムが競争力を発揮し、オンライン学習によって達成できる新しい標準を確立する。 この長距離依存を学習する能力は、脳内の学習に対する新たな視点を与え、ニューロモルフィックコンピューティングにおける有望な道を開く。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Towards guarantees for parameter isolation in continual learning [31.785686292677813]
  ニューラルネットワークの損失ランドスケープの幾何に着目し,学習と忘れの関連性について検討した。 パラメータ分離に基づく連続学習アルゴリズムのファミリについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2023-10-02T12:50:15Z)
• Modular Neural Network Approaches for Surgical Image Recognition [0.0]
  本稿では,DCSS不安定性分類のためのモジュール型学習の異なるアーキテクチャを導入,評価する。 実験の結果,モジュール型学習は非モジュール型システムと比較して性能が向上することがわかった。 第2部では,肩関節鏡画像への自己訓練によるデータラベリングとセグメンテーションのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-17T22:28:16Z)
• Oracle-Efficient Smoothed Online Learning for Piecewise Continuous Decision Making [73.48977854003697]
  この研究は、複雑性という新しい概念、一般化ブラケット数を導入し、空間の大きさに対する敵の制約を結婚させる。 次に、オンライン予測や断片的連続関数の計画など、関心のあるいくつかの問題で境界をインスタンス化する。
  論文  参考訳（メタデータ） (2023-02-10T18:45:52Z)
• Continual Learning, Fast and Slow [75.53144246169346]
  補完学習システム理論(Complementary Learning Systems theory)によれば、人間は2つの相補的なシステムを通して効果的な共連続学習を行う。 EmphDualNets(Dual Networks)は、タスクの教師付き学習のための高速学習システムと、自己監視学習(SSL)によるタスク非依存の汎用表現の表現学習のための遅い学習システムからなる、一般的な連続学習フレームワークである。 我々はDualNetsの有望な成果を、標準的なオフラインタスク認識設定から、オンラインタスクフリーシナリオまで、幅広い連続的な学習プロトコルで実証する。
  論文  参考訳（メタデータ） (2022-09-06T10:48:45Z)
• Warming up recurrent neural networks to maximise reachable multistability greatly improves learning [3.118384520557952]
  ネットワークの安定平衡が増加すると、時間依存のあるタスクの学習が一般的に行われることを示す。 この洞察は、リカレントセル接続を初期化する新しい方法の設計につながる。 いくつかの情報再構成、分類、強化学習ベンチマークにおいて、ウォームアップが学習速度と性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2021-06-02T07:53:54Z)
• Avalanche: an End-to-End Library for Continual Learning [81.84325803942811]
  PyTorchをベースとした継続的学習研究のためのオープンソースライブラリであるAvalancheを提案する。 avalancheは、継続的学習アルゴリズムの高速プロトタイピング、トレーニング、再現可能な評価のための共有とコラボレーションを提供するように設計されている。
  論文  参考訳（メタデータ） (2021-04-01T11:31:46Z)
• Hard-ODT: Hardware-Friendly Online Decision Tree Learning Algorithm and System [17.55491405857204]
  ビッグデータの時代、従来の決定木誘導アルゴリズムは大規模なデータセットの学習には適していません。 最先端のオンライン学習モデルの1つであるHoeffdingツリーの誘導を改善するための新しい量子化ベースのアルゴリズムを紹介します。 本稿では,フィールドプログラマブルゲートアレイ(FPGA)上に,システムレベルの最適化手法を用いた高性能,ハードウェア効率,スケーラブルなオンライン決定木学習システムであるHard-ODTを提案する。
  論文  参考訳（メタデータ） (2020-12-11T12:06:44Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。