Fugu-MT 論文翻訳(概要): Shuffling Recurrent Neural Networks

論文の概要: Shuffling Recurrent Neural Networks

arxiv url: http://arxiv.org/abs/2007.07324v1
Date: Tue, 14 Jul 2020 19:36:10 GMT
ステータス: 処理完了
システム内更新日: 2022-11-10 13:59:02.317844
Title: Shuffling Recurrent Neural Networks
Title（参考訳）: リカレントニューラルネットワークのシャッフリング
Authors: Michael Rotman and Lior Wolf
Abstract要約: 隠れ状態 $h_t$ を以前の隠れ状態 $h_t-1$ のベクトル要素を置換することにより、隠れ状態 $h_t$ が得られる新しいリカレントニューラルネットワークモデルを提案する。私たちのモデルでは、予測は第2の学習関数によって与えられ、隠された状態 $s(h_t)$ に適用されます。
参考スコア（独自算出の注目度）: 97.72614340294547
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a novel recurrent neural network model, where the hidden state $h_t$ is obtained by permuting the vector elements of the previous hidden state $h_{t-1}$ and adding the output of a learned function $b(x_t)$ of the input $x_t$ at time $t$. In our model, the prediction is given by a second learned function, which is applied to the hidden state $s(h_t)$. The method is easy to implement, extremely efficient, and does not suffer from vanishing nor exploding gradients. In an extensive set of experiments, the method shows competitive results, in comparison to the leading literature baselines.
Abstract（参考訳）: 本稿では,従来の隠れ状態$h_{t-1}$のベクトル要素を置換し,学習関数$b(x_t)$の入力値$x_t$の出力をt$で加算することにより,隠れ状態$h_t$が得られる新しいリカレントニューラルネットワークモデルを提案する。我々のモデルでは、予測は第2の学習関数によって与えられ、隠れた状態$s(h_t)$に適用される。この方法は実装が容易で、非常に効率的であり、消滅や爆発的な勾配に苦しむことはない。広範な実験において,本手法は主要な文献ベースラインと比較して,競争力のある結果を示す。

関連論文リスト

Training Overparametrized Neural Networks in Sublinear Time [14.918404733024332]
ディープラーニングには膨大な計算とエネルギーのコストが伴う。探索木の小さな部分集合として、二分ニューラルネットワークの新しいサブセットを示し、それぞれが探索木のサブセット(Ds)に対応する。我々はこの見解が深層ネットワーク(Ds)の分析解析にさらに応用できると考えている。
論文参考訳（メタデータ） (2022-08-09T02:29:42Z)
Learning (Very) Simple Generative Models Is Hard [45.13248517769758]
我々は,$mathbbRdtobbRd'$の出力座標が$mathrmpoly(d)$ニューロンを持つ一層ReLUネットワークである場合でも,リアルタイムアルゴリズムが問題を解決可能であることを示す。我々の証明の鍵となる要素は、コンパクトに支持されたピースワイズ線形関数$f$をニューラルネットワークで束ねたスロープで構築することであり、$mathcalN(0,1)$のプッシュフォワードは$mathcalのすべての低度モーメントと一致する。
論文参考訳（メタデータ） (2022-05-31T17:59:09Z)
A Neural Network Ensemble Approach to System Identification [0.6445605125467573]
軌道データから未知の制御方程式を学習するための新しいアルゴリズムを提案する。ニューラルネットワークのアンサンブルを用いて関数の$f$を近似する。
論文参考訳（メタデータ） (2021-10-15T21:45:48Z)
On the Provable Generalization of Recurrent Neural Networks [7.115768009778412]
リカレントニューラルネットワーク(RNN)のトレーニングと一般化の分析正規化条件を使わずに関数を学習する一般化誤差を証明した。また、入力シーケンスのN-変数関数を学習するための新しい結果も証明する。
論文参考訳（メタデータ） (2021-09-29T02:06:33Z)
Randomized Exploration for Reinforcement Learning with General Value Function Approximation [122.70803181751135]
本稿では,ランダム化最小二乗値反復(RLSVI)アルゴリズムに着想を得たモデルレス強化学習アルゴリズムを提案する。提案アルゴリズムは,スカラーノイズを用いたトレーニングデータを簡易に摂動させることにより,探索を促進する。我々はこの理論を、既知の困難な探査課題にまたがる実証的な評価で補完する。
論文参考訳（メタデータ） (2021-06-15T02:23:07Z)
Improved Sample Complexity for Incremental Autonomous Exploration in MDPs [132.88757893161699]
我々は $epsilon$-optimal 目標条件付きポリシーのセットを学び、$ L$ ステップ内で段階的に到達可能なすべての状態を達成します。 DisCoは、コストに敏感な最短経路問題に対して$epsilon/c_min$-optimalポリシーを返すことができる最初のアルゴリズムです。
論文参考訳（メタデータ） (2020-12-29T14:06:09Z)
Reconstructing cellular automata rules from observations at nonconsecutive times [7.056222499095849]
最近の実験では、コンウェイのゲーム・オブ・ライフ・オートマトン(Game of Life Automaticon)の動作を予測するために、ディープニューラルネットワークをトレーニングできることが示されている。本稿では,制約予測に基づくネットワークライクな手法について述べる。本手法は,隣接するセルから入力を受信する1次元バイナリセルオートマトン上で実証する。
論文参考訳（メタデータ） (2020-12-03T18:55:40Z)
Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文参考訳（メタデータ） (2020-09-21T02:48:46Z)
Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文参考訳（メタデータ） (2020-07-09T07:09:28Z)
Backward Feature Correction: How Deep Learning Performs Deep (Hierarchical) Learning [66.05472746340142]
本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
論文参考訳（メタデータ） (2020-01-13T17:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。