論文の概要: Recurrent autoencoder with sequence-aware encoding

• arxiv url: http://arxiv.org/abs/2009.07349v3
• Date: Fri, 15 Jan 2021 14:22:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 05:39:00.422619
• Title: Recurrent autoencoder with sequence-aware encoding
• Title（参考訳）: シーケンス認識型オートエンコーダ
• Authors: Robert Susik
• Abstract要約: 本稿では,1次元畳み込み層を用いたシーケンシャル・アウェア・エンコーディングによるオートエンコーダアーキテクチャを提案する。 提案手法が標準RAEよりも優れており,トレーニングプロセスは桁違いに高速であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent Neural Networks (RNN) received a vast amount of attention last decade. Recently, the architectures of Recurrent AutoEncoders (RAE) found many applications in practice. RAE can extract the semantically valuable information, called context that represents a latent space useful for further processing. Nevertheless, recurrent autoencoders are hard to train, and the training process takes much time. In this paper, we propose an autoencoder architecture with sequence-aware encoding, which employs 1D convolutional layer to improve its performance in terms of model training time. We prove that the recurrent autoencoder with sequence-aware encoding outperforms a standard RAE in terms of training speed in most cases. The preliminary results show that the proposed solution dominates over the standard RAE, and the training process is order of magnitude faster.
• Abstract（参考訳）: Recurrent Neural Networks(RNN)は、この10年で大きな注目を集めた。 最近、Recurrent AutoEncoders (RAE) のアーキテクチャは、実際に多くのアプリケーションを見つけている。 RAEは、さらなる処理に役立つ潜在空間を表すコンテキストと呼ばれる意味的に価値のある情報を抽出することができる。 それでも、再帰的なオートエンコーダはトレーニングが難しく、トレーニングプロセスには多くの時間を要する。 本稿では,1次元畳み込み層を用いたシーケンス認識符号化によるオートエンコーダアーキテクチャを提案する。 シーケンシャル・アウェア・エンコーディングを用いたリカレントオートエンコーダは,ほとんどの場合,トレーニング速度において標準RAEよりも優れることを示す。 予備的な結果は,提案手法が標準RAEよりも優位であり,トレーニングプロセスは桁違いに高速であることを示している。

関連論文リスト

• Hierarchical Attention Encoder Decoder [2.4366811507669115]
  自己回帰モデリングは、多くの実世界の応用を持つ複雑で斬新なシーケンスを生成することができる。 これらのモデルはアウトプットを自動回帰的に生成しなければなりません。 階層型リカレントデコーダアーキテクチャに基づくモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-01T18:17:23Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• KRNet: Towards Efficient Knowledge Replay [50.315451023983805]
  知識再生技術は、継続的な学習や連続的なドメイン適応といった多くのタスクで広く使われている。 本稿では,任意のサンプル識別番号を直接対応するダタムにマッピングする,新規で効率的な知識記録ネットワーク(KRNet)を提案する。 我々のKRNetは、潜在コードに対するストレージコストを著しく削減し、エンコーダのサブネットワークを使わずにトレーニングできる。
  論文  参考訳（メタデータ） (2022-05-23T08:34:17Z)
• TCTN: A 3D-Temporal Convolutional Transformer Network for Spatiotemporal Predictive Learning [1.952097552284465]
  本稿では3次元時間畳み込み変換器 (TCTN) というアルゴリズムを提案する。 提案アルゴリズムは,Transformerの並列機構により,RNNベースの手法に比べて,実装や訓練が容易である。
  論文  参考訳（メタデータ） (2021-12-02T10:05:01Z)
• Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates [59.678108707409606]
  我々は、接続性時間分類(CTC)出力に基づいて非自己回帰デコードによりHIを生成する高速MDモデルであるFast-MDを提案し、続いてASRデコーダを提案する。 高速MDは、GPUとCPUの「単純なMDモデル」よりも2倍、4倍高速なデコード速度を実現した。
  論文  参考訳（メタデータ） (2021-09-27T05:21:30Z)
• Non-autoregressive End-to-end Speech Translation with Parallel Autoregressive Rescoring [83.32560748324667]
  本稿では,非自己回帰モデルに基づく効率的なエンドツーエンド音声翻訳(E2E-ST)フレームワークについて述べる。 我々は,共有エンコーダ上にNARデコーダと補助的な浅層ARデコーダを備えた,Orthrosと呼ばれる統一NAR E2E-STフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-09T16:50:16Z)
• Less is More: Pre-training a Strong Siamese Encoder Using a Weak Decoder [75.84152924972462]
  多くの実世界のアプリケーションはSiameseネットワークを使用して、テキストシーケンスを大規模に効率的にマッチングします。 本稿では,シームズアーキテクチャにおけるシーケンスマッチング専用の言語モデルを事前学習する。
  論文  参考訳（メタデータ） (2021-02-18T08:08:17Z)
• Streaming automatic speech recognition with the transformer model [59.58318952000571]
  本稿では,ストリーミングASRのためのトランスフォーマーに基づくエンドツーエンドASRシステムを提案する。 本研究では,エンコーダに時間制限付き自己アテンションを適用し,エンコーダ・デコーダのアテンション機構に注意を喚起する。 提案したストリーミングトランスアーキテクチャは,LibriSpeechの「クリーン」および「他の」テストデータに対して,2.8%と7.2%のWERを実現する。
  論文  参考訳（メタデータ） (2020-01-08T18:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。