Fugu-MT 論文翻訳(概要): UnICORNN: A recurrent model for learning very long time dependencies

論文の概要: UnICORNN: A recurrent model for learning very long time dependencies

arxiv url: http://arxiv.org/abs/2103.05487v1
Date: Tue, 9 Mar 2021 15:19:59 GMT
ステータス: 処理完了
システム内更新日: 2021-03-10 15:04:46.931624
Title: UnICORNN: A recurrent model for learning very long time dependencies
Title（参考訳）: UnICORNN: 非常に長い時間依存を学習するための反復モデル
Authors: T. Konstantin Rusch, Siddhartha Mishra
Abstract要約: 2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The design of recurrent neural networks (RNNs) to accurately process sequential inputs with long-time dependencies is very challenging on account of the exploding and vanishing gradient problem. To overcome this, we propose a novel RNN architecture which is based on a structure preserving discretization of a Hamiltonian system of second-order ordinary differential equations that models networks of oscillators. The resulting RNN is fast, invertible (in time), memory efficient and we derive rigorous bounds on the hidden state gradients to prove the mitigation of the exploding and vanishing gradient problem. A suite of experiments are presented to demonstrate that the proposed RNN provides state of the art performance on a variety of learning tasks with (very) long time-dependencies.
Abstract（参考訳）: 長時間依存した逐次入力を正確に処理するリカレントニューラルネットワーク(RNN)の設計は、爆発的かつ消滅する勾配問題のために非常に困難である。これを解決するために,振動子のネットワークをモデル化する二階常微分方程式のハミルトン系を離散化する構造を基盤とした新しいRNNアーキテクチャを提案する。結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。提案されたRNNが(非常に)長い時間の依存性を持つさまざまな学習タスクに最先端のパフォーマンスを提供することを実証するために、一連の実験が提示されます。

関連論文リスト

Delayed Memory Unit: Modelling Temporal Dependency Through Delay Gate [16.4160685571157]
リカレントニューラルネットワーク(RNN)は、時間的依存をモデル化する能力で広く認識されている。本稿では、ゲートRNNのための新しい遅延メモリユニット(DMU)を提案する。 DMUは遅延線構造と遅延ゲートをバニラRNNに組み込み、時間的相互作用を高め、時間的信用割り当てを容易にする。
論文参考訳（メタデータ） (2023-10-23T14:29:48Z)
A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
論文参考訳（メタデータ） (2023-01-24T08:39:20Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-09-29T07:46:54Z)
Oscillatory Fourier Neural Network: A Compact and Efficient Architecture for Sequential Processing [16.69710555668727]
本稿では,コサイン活性化と時系列処理のための時間変化成分を有する新しいニューロンモデルを提案する。提案したニューロンは、スペクトル領域に逐次入力を投影するための効率的なビルディングブロックを提供する。 IMDBデータセットの感情分析に提案されたモデルを適用すると、5時間以内のテスト精度は89.4%に達する。
論文参考訳（メタデータ） (2021-09-14T19:08:07Z)
A unified framework for Hamiltonian deep neural networks [3.0934684265555052]
ディープニューラルネットワーク(DNN)のトレーニングは、重み付け最適化中に勾配を消耗させるため、難しい場合がある。ハミルトン系の時間離散化から派生したDNNのクラスを提案する。提案されたハミルトンのフレームワークは、限界的に安定なODEにインスパイアされた既存のネットワークを包含する以外に、新しいより表現力のあるアーキテクチャを導出することができる。
論文参考訳（メタデータ） (2021-04-27T13:20:24Z)
Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文参考訳（メタデータ） (2021-03-23T09:32:06Z)
Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies [15.2292571922932]
本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。提案するRNNは, 2次常微分方程式系の時間分解に基づく。実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
論文参考訳（メタデータ） (2020-10-02T12:35:04Z)
Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文参考訳（メタデータ） (2020-06-08T09:53:35Z)
Learning Various Length Dependence by Dual Recurrent Neural Networks [0.0]
デュアルリカレントニューラルネットワーク(DuRNN)という新しいモデルを提案する。 DuRNNは短期依存を学習し、長期依存を徐々に学習する2つの部分から構成される。コントリビューションは,1)長期的・短期的依存を個別に学習するための分割・並行的戦略に基づく新たな再帰モデル,2)異なる時間的依存尺度の分離・学習を促進するための選択メカニズムである。
論文参考訳（メタデータ） (2020-05-28T09:30:01Z)
Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文参考訳（メタデータ） (2020-05-05T01:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。