論文の概要: Linear pretraining in recurrent mixture density networks

• arxiv url: http://arxiv.org/abs/2302.14141v1
• Date: Mon, 27 Feb 2023 20:57:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-01 19:02:16.941810
• Title: Linear pretraining in recurrent mixture density networks
• Title（参考訳）: 繰り返し混合密度ネットワークにおける線形予訓練
• Authors: Hubert Normandin-Taillon, Fr\'ed\'eric Godin, Chun Wang
• Abstract要約: 本稿では、リカレント混合密度ネットワーク(RMDN)の事前学習方法を提案する。 この事前学習法は、トレーニング中にRMDNが悪い局所最小値を避けるのに役立ち、持続的なNaN問題に対する堅牢性を向上させる。
• 参考スコア（独自算出の注目度）: 3.343616707700273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a method for pretraining a recurrent mixture density network (RMDN). We also propose a slight modification to the architecture of the RMDN-GARCH proposed by Nikolaev et al. [2012]. The pretraining method helps the RMDN avoid bad local minima during training and improves its robustness to the persistent NaN problem, as defined by Guillaumes [2017], which is often encountered with mixture density networks. Such problem consists in frequently obtaining "Not a number" (NaN) values during training. The pretraining method proposed resolves these issues by training the linear nodes in the hidden layer of the RMDN before starting including non-linear node updates. Such an approach improves the performance of the RMDN and ensures it surpasses that of the GARCH model, which is the RMDN's linear counterpart.
• Abstract（参考訳）: 本稿では,リカレント混合密度ネットワーク(RMDN)の事前学習手法を提案する。 また,ニコラエフらによって提案されたRMDN-GARCHのアーキテクチャを若干修正した。 [2012]. プレトレーニング法は, RMDNがトレーニング中に悪局部最小値を回避するのに役立つとともに, 混合密度ネットワークとよく遭遇するGuillaumes [2017] が定義した, 持続的NaN問題に対する堅牢性を向上させる。 このような問題は、トレーニング中に頻繁に "Not a number" (NaN) 値を取得することである。 提案手法は,非線形ノード更新の開始前に,RMDNの隠蔽層内の線形ノードをトレーニングすることにより,これらの問題を解決する。 このようなアプローチは RMDN の性能を改善し、RMDN の線形モデルである GARCH モデルを上回ることを保証している。

関連論文リスト

• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Noise Injection Node Regularization for Robust Learning [0.0]
  ノイズインジェクションノード規則化(NINR)は、トレーニング期間中に、構造化されたノイズをディープニューラルネットワーク(DNN)に注入する手法である。 本研究は、NINRの下で訓練されたフィードフォワードDNNに対する各種試験データ摂動に対するロバスト性を大幅に改善する理論的および実証的な証拠を示す。
  論文  参考訳（メタデータ） (2022-10-27T20:51:15Z)
• Batch Normalization Explained [31.66311831317311]
  バッチ正規化(BN)により、DN学習と推論性能が向上することを示す。 BNは、DNのスプライン分割の幾何学をデータに適合させる教師なし学習技術である。 また,ミニバッチ間のBN統計量の変動は,分割境界にランダムな乱摂動をもたらすことを示した。
  論文  参考訳（メタデータ） (2022-09-29T13:41:27Z)
• Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
  ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。 我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。 実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T05:07:19Z)
• Nearest Neighbor Knowledge Distillation for Neural Machine Translation [50.0624778757462]
  k-nearest-neighbor machine translation (NN-MT) は機械翻訳タスクにおける最先端の結果の多くを達成している。 NN-KDはベースNMTモデルをトレーニングし、NNの知識を直接学習する。
  論文  参考訳（メタデータ） (2022-05-01T14:30:49Z)
• Training Structured Neural Networks Through Manifold Identification and Variance Reduction [8.528384027684194]
  本稿では,ニューラルネットワーク(NN)を学習するためのアルゴリズム(RMDA)を提案する。 RMDAは運動量の増加に余分な計算を行わず、目的関数を有限サム形式にすることなく分散還元を達成する。
  論文  参考訳（メタデータ） (2021-12-05T16:23:53Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Selfish Sparse RNN Training [13.165729746380816]
  本稿では,1回のランでパラメータ数を固定したスパースRNNを,性能を損なうことなく訓練する手法を提案する。 我々はPenn TreeBankとWikitext-2の様々なデータセットを用いて最先端のスパーストレーニング結果を得る。
  論文  参考訳（メタデータ） (2021-01-22T10:45:40Z)
• DL-Reg: A Deep Learning Regularization Technique using Linear Regression [4.1359299555083595]
  本稿では,DL-Regと呼ばれる新しいディープラーニング正規化手法を提案する。 ネットワークをできるだけ線形に振る舞うように明示的に強制することで、ディープネットワークの非線形性をある程度まで慎重に減少させる。 DL-Regの性能は、いくつかのベンチマークデータセット上で最先端のディープネットワークモデルをトレーニングすることで評価される。
  論文  参考訳（メタデータ） (2020-10-31T21:53:24Z)
• RNN Training along Locally Optimal Trajectories via Frank-Wolfe Algorithm [50.76576946099215]
  小領域の損失面に局所的なミニマを反復的に求めることにより,RNNの新規かつ効率的なトレーニング手法を提案する。 新たなRNNトレーニング手法を開発し,追加コストを伴っても,全体のトレーニングコストがバックプロパゲーションよりも低いことを実証的に観察した。
  論文  参考訳（メタデータ） (2020-10-12T01:59:18Z)
• GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples [77.99182201815763]
  ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。 GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。 GraNは多くの問題セットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-04-20T10:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。