論文の概要: On a novel training algorithm for sequence-to-sequence predictive recurrent networks

• arxiv url: http://arxiv.org/abs/2106.14120v1
• Date: Sun, 27 Jun 2021 00:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 18:00:11.285476
• Title: On a novel training algorithm for sequence-to-sequence predictive recurrent networks
• Title（参考訳）: シーケンス-シーケンス間予測リカレントネットワークのための新しいトレーニングアルゴリズムについて
• Authors: Boris Rubinstein
• Abstract要約: 我々は、よく訓練された予測ネットワークのRNのパラメータが互いに独立ではないことを示す。 従来のseq2seqアルゴリズムは、予測シーケンス長に比例したサイズの短期記憶を必要とする。 本稿では,Seq2seq予測ネットワークのための新しいメモリレスアルゴリズムを提案し,時系列予測の文脈において従来のものと比較する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural networks mapping sequences to sequences (seq2seq) lead to significant progress in machine translation and speech recognition. Their traditional architecture includes two recurrent networks (RNs) followed by a linear predictor. In this manuscript we perform analysis of a corresponding algorithm and show that the parameters of the RNs of the well trained predictive network are not independent of each other. Their dependence can be used to significantly improve the network effectiveness. The traditional seq2seq algorithms require short term memory of a size proportional to the predicted sequence length. This requirement is quite difficult to implement in a neuroscience context. We present a novel memoryless algorithm for seq2seq predictive networks and compare it to the traditional one in the context of time series prediction. We show that the new algorithm is more robust and makes predictions with higher accuracy than the traditional one.
• Abstract（参考訳）: シーケンスをシーケンス(seq2seq)にマッピングするニューラルネットワークは、機械翻訳と音声認識の著しい進歩をもたらす。 従来のアーキテクチャには2つのリカレントネットワーク(RN)があり、続いて線形予測器が続く。 本稿では、対応するアルゴリズムの分析を行い、よく訓練された予測ネットワークのRNのパラメータが互いに独立していないことを示す。 それらの依存は、ネットワークの有効性を著しく改善するために使用できる。 従来のseq2seqアルゴリズムは、予測シーケンス長に比例するサイズの短期記憶を必要とする。 この要件は神経科学の文脈で実装することは極めて困難である。 本稿では,Seq2seq予測ネットワークのための新しいメモリレスアルゴリズムを提案し,時系列予測の文脈において従来のものと比較する。 新しいアルゴリズムは従来のアルゴリズムよりも頑健であり,高い精度で予測を行う。

関連論文リスト

• VQ-T: RNN Transducers using Vector-Quantized Prediction Network States [52.48566999668521]
  本稿では,RNNトランスデューサの予測ネットワークにおけるベクトル量子化長短期記憶単位を提案する。 ASRネットワークと協調して離散表現を訓練することにより、格子生成のために仮説を積極的にマージすることができる。 提案するVQ RNNトランスデューサは,通常の予測ネットワークを持つトランスデューサよりもASR性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-08-03T02:45:52Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• IQNAS: Interpretable Integer Quadratic Programming Neural Architecture Search [40.77061519007659]
  適合ネットワークを見つけるための一般的なアプローチは、制約付きニューラルネットワークサーチ(NAS)である。 従来はネットワークの精度に複雑な予測器を使用していた。 IQNAS (Interpretable Quadratic Programming Neural Architecture Search) を導入する。
  論文  参考訳（メタデータ） (2021-10-24T09:45:00Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Attentive Gaussian processes for probabilistic time-series generation [4.94950858749529]
  本稿では,ガウス過程の回帰と組み合わせて実数値列を生成する,計算効率のよいアテンションベースネットワークを提案する。 我々は,GPがフルバッチを用いて訓練されている間,ネットワークのミニバッチトレーニングを可能にするブロックワイズトレーニングアルゴリズムを開発した。 アルゴリズムは収束することが証明され、より良くなくても、見いだされた解の品質に匹敵することを示す。
  論文  参考訳（メタデータ） (2021-02-10T01:19:15Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• AIN: Fast and Accurate Sequence Labeling with Approximate Inference Network [75.44925576268052]
  線形鎖条件ランダム場(CRF)モデルは最も広く使われているニューラルネットワークラベリング手法の1つである。 厳密な確率的推論アルゴリズムは典型的にはCRFモデルの訓練と予測段階に適用される。 CRFモデルに対して並列化可能な近似変分推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-17T12:18:43Z)
• A fast noise filtering algorithm for time series prediction using recurrent neural networks [0.0]
  本稿では,RNNの内部力学を考察し,そのような動作に必要な条件のセットを確立する。 そこで我々は,新しい近似アルゴリズムを提案し,精度を損なうことなく予測プロセスを著しく高速化することを示した。
  論文  参考訳（メタデータ） (2020-07-16T01:32:48Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。