論文の概要: Variational Inference-Based Dropout in Recurrent Neural Networks for Slot Filling in Spoken Language Understanding

• arxiv url: http://arxiv.org/abs/2009.01003v1
• Date: Sun, 23 Aug 2020 22:05:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 03:10:41.856487
• Title: Variational Inference-Based Dropout in Recurrent Neural Networks for Slot Filling in Spoken Language Understanding
• Title（参考訳）: 音声言語理解におけるスロットフィリングのためのリカレントニューラルネットワークにおける変分推論に基づくドロップアウト
• Authors: Jun Qi, Xu Liu, Javier Tejedor
• Abstract要約: 本稿では,変動型リカレントニューラルネットワーク(RNN)を,変動型推論(VI)に基づくドロップアウト正規化で一般化する。 ATISデータセットの実験から、VIベースのドロップアウト正規化による変動RNNは、素早いドロップアウト正規化RNNベースのベースラインシステムを大幅に改善する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 9.93926378136064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes to generalize the variational recurrent neural network (RNN) with variational inference (VI)-based dropout regularization employed for the long short-term memory (LSTM) cells to more advanced RNN architectures like gated recurrent unit (GRU) and bi-directional LSTM/GRU. The new variational RNNs are employed for slot filling, which is an intriguing but challenging task in spoken language understanding. The experiments on the ATIS dataset suggest that the variational RNNs with the VI-based dropout regularization can significantly improve the naive dropout regularization RNNs-based baseline systems in terms of F-measure. Particularly, the variational RNN with bi-directional LSTM/GRU obtains the best F-measure score.
• Abstract（参考訳）: 本稿では、長寿命メモリ(LSTM)セルに使用される変動推論(VI)に基づくドロップアウト正規化を、ゲートリカレントユニット(GRU)や双方向LSTM/GRUのようなより高度なRNNアーキテクチャに一般化することを提案する。 新しい変分RNNはスロットフィリングに使われており、これは音声言語理解において興味深いが難しい課題である。 ATISデータセットを用いた実験結果から,VIベースのドロップアウト正規化による変動RNNは,F尺度の点から,素早いドロップアウト正規化RNNベースのベースラインシステムを大幅に改善する可能性が示唆された。 特に、双方向LSTM/GRUを有する変動RNNは、最良のF測定スコアを得る。

関連論文リスト

• Dynamic Gated Recurrent Neural Network for Compute-efficient Speech Enhancement [17.702946837323026]
  本稿では,資源制約のあるプラットフォーム上で動作する計算効率の高い音声強調モデルのための動的Gated Recurrent Neural Network (DG-RNN) を提案する。 DG-RNNの実現として,追加パラメータを必要としない動的Gated Recurrent Unit (D-GRU)を提案する。 DNSチャレンジデータセットを用いて、最先端の計算効率の高いRNNベースの音声強調アーキテクチャから得られたテスト結果は、D-GRUベースのモデルが、ベースラインのGRUベースのモデルに匹敵する類似の音声インテリジェンスと品質指標を維持していることを示す。
  論文  参考訳（メタデータ） (2024-08-22T14:20:11Z)
• Adaptive-saturated RNN: Remember more with less instability [2.191505742658975]
  本研究では,2つのアプローチ間の飽和度を動的に調整する適応飽和RNN(asRNN)を提案する。 我々の実験は、いくつかの強力な競合相手と比較して、挑戦的なシーケンス学習ベンチマークにおけるasRNNの結果を奨励することを示した。
  論文  参考訳（メタデータ） (2023-04-24T02:28:03Z)
• Return of the RNN: Residual Recurrent Networks for Invertible Sentence Embeddings [0.0]
  本研究では、教師なし符号化タスクで訓練された残効再帰ネットワークを用いて、非可逆文埋め込みのための新しいモデルを提案する。 ニューラルネットワーク翻訳モデルに共通する確率的出力ではなく、回帰に基づく出力層を用いて入力シーケンスのワードベクトルを再構成する。 RNNはLSTMや2次最適化法などのメモリユニットを必要とすることを考えると、このモデルはADAMによる高精度かつ高速なトレーニングを実現している。
  論文  参考訳（メタデータ） (2023-03-23T15:59:06Z)
• An Improved Time Feedforward Connections Recurrent Neural Networks [3.0965505512285967]
  リカレントニューラルネットワーク(RNN)は洪水予測や財務データ処理といった時間的問題に広く応用されている。 従来のRNNモデルは、厳密な時系列依存性のために勾配問題を増幅する。 勾配問題に対処するために、改良された時間フィードフォワード接続リカレントニューラルネットワーク(TFC-RNN)モデルが最初に提案された。 単一ゲートリカレントユニット(Single Gate Recurrent Unit, SGRU)と呼ばれる新しい細胞構造が提示され、RNNセルのパラメータ数が減少した。
  論文  参考訳（メタデータ） (2022-11-03T09:32:39Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• VQ-T: RNN Transducers using Vector-Quantized Prediction Network States [52.48566999668521]
  本稿では,RNNトランスデューサの予測ネットワークにおけるベクトル量子化長短期記憶単位を提案する。 ASRネットワークと協調して離散表現を訓練することにより、格子生成のために仮説を積極的にマージすることができる。 提案するVQ RNNトランスデューサは,通常の予測ネットワークを持つトランスデューサよりもASR性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-08-03T02:45:52Z)
• Lyapunov-Guided Representation of Recurrent Neural Network Performance [9.449520199858952]
  リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、シーケンスと時系列データのためのユビキタスコンピューティングシステムである。 本稿では,RNNを力学系として扱うとともに,リアプノフスペクトル解析を用いてハイパーパラメータを高精度に相関する手法を提案する。 各種RNNアーキテクチャの研究により,AeLLEはRNNリアプノフスペクトルと精度の相関が得られた。
  論文  参考訳（メタデータ） (2022-04-11T05:38:38Z)
• Sequence Transduction with Graph-based Supervision [96.04967815520193]
  ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。 CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-11-01T21:51:42Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。