論文の概要: Context- and Sequence-Aware Convolutional Recurrent Encoder for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2101.04030v2
• Date: Sun, 21 Mar 2021 07:55:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-04 14:45:08.459258
• Title: Context- and Sequence-Aware Convolutional Recurrent Encoder for Neural Machine Translation
• Title（参考訳）: ニューラルネットワーク翻訳のためのコンテキスト・シーケンス対応畳み込みリカレントエンコーダ
• Authors: Ritam Mallick, Seba Susan, Vaibhaw Agrawal, Rizul Garg, Prateek Rawal
• Abstract要約: 既存のモデルは、エンコーダとデコーダモジュールを構築するためにリカレントニューラルネットワークを使用する。 代替研究では、入力文の構文構造をキャプチャするために畳み込みニューラルネットワークによって繰り返しネットワークが置き換えられた。 コンテクスト情報を取得するための畳み込み再帰エンコーダを提案することにより,両手法の利点を取り入れた。
• 参考スコア（独自算出の注目度）: 2.729898906885749
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural Machine Translation model is a sequence-to-sequence converter based on neural networks. Existing models use recurrent neural networks to construct both the encoder and decoder modules. In alternative research, the recurrent networks were substituted by convolutional neural networks for capturing the syntactic structure in the input sentence and decreasing the processing time. We incorporate the goodness of both approaches by proposing a convolutional-recurrent encoder for capturing the context information as well as the sequential information from the source sentence. Word embedding and position embedding of the source sentence is performed prior to the convolutional encoding layer which is basically a n-gram feature extractor capturing phrase-level context information. The rectified output of the convolutional encoding layer is added to the original embedding vector, and the sum is normalized by layer normalization. The normalized output is given as a sequential input to the recurrent encoding layer that captures the temporal information in the sequence. For the decoder, we use the attention-based recurrent neural network. Translation task on the German-English dataset verifies the efficacy of the proposed approach from the higher BLEU scores achieved as compared to the state of the art.
• Abstract（参考訳）: ニューラルネットワークに基づくシーケンス・ツー・シーケンス変換モデルである。 既存のモデルは、エンコーダとデコーダモジュールの両方を構築するためにリカレントニューラルネットワークを使用する。 代替研究として、リカレントネットワークを畳み込みニューラルネットワークで代用し、入力文の構文構造を捕捉し、処理時間を短縮した。 本稿では、コンテクスト情報とソース文からのシーケンシャル情報を取得する畳み込み再帰エンコーダを提案することにより、両方のアプローチの良さを取り入れる。 語句レベルの文脈情報をキャプチャするn-gram特徴抽出器である畳み込み符号化層に先立って、原文の単語埋め込みと位置埋め込みを行う。 元の埋め込みベクトルに畳み込み符号化層の補正出力を追加し、その和を層正規化により正規化する。 正規化出力は、シーケンス内の時間情報をキャプチャする再帰符号化層への逐次入力として与えられる。 デコーダには注意に基づくリカレントニューラルネットワークを使用する。 ドイツ語と英語のデータセットの翻訳タスクは、提案されたアプローチの有効性を、芸術の状況と比較して達成された高得点から検証する。

関連論文リスト

• Improving Transformers using Faithful Positional Encoding [55.30212768657544]
  本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。 標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
  論文  参考訳（メタデータ） (2024-05-15T03:17:30Z)
• Positional Encoding Helps Recurrent Neural Networks Handle a Large Vocabulary [1.4594704809280983]
  位置符号化は入力データ上の時間指標の高次元表現である。 RNNは、データポイントの時間情報を自身でエンコードすることができ、位置エンコーディングの使用は、一見冗長/不要なように見える。
  論文  参考訳（メタデータ） (2024-01-31T23:32:20Z)
• Learned layered coding for Successive Refinement in the Wyner-Ziv Problem [18.134147308944446]
  本稿では,連続したソースのプログレッシブエンコーディングを明示的に学習するためのデータ駆動型アプローチを提案する。 この設定は、Wyner-Ziv符号問題の連続的な改善を指す。 我々は、RNNがスケーラブルなネスト量子化と同様の層状ビニングソリューションを明示的に検索できることを実証した。
  論文  参考訳（メタデータ） (2023-11-06T12:45:32Z)
• Locality-Aware Generalizable Implicit Neural Representation [54.93702310461174]
  一般化可能な暗黙的ニューラル表現(INR)は、単一の連続関数が複数のデータインスタンスを表現することを可能にする。 本稿では、変換器エンコーダと局所性を考慮したINRデコーダを組み合わせた一般化可能なINRのための新しいフレームワークを提案する。 我々のフレームワークは、従来の一般化可能なINRよりも大幅に優れており、下流タスクにおける局所性を考慮した潜在能力の有効性を検証している。
  論文  参考訳（メタデータ） (2023-10-09T11:26:58Z)
• Return of the RNN: Residual Recurrent Networks for Invertible Sentence Embeddings [0.0]
  本研究では、教師なし符号化タスクで訓練された残効再帰ネットワークを用いて、非可逆文埋め込みのための新しいモデルを提案する。 ニューラルネットワーク翻訳モデルに共通する確率的出力ではなく、回帰に基づく出力層を用いて入力シーケンスのワードベクトルを再構成する。 RNNはLSTMや2次最適化法などのメモリユニットを必要とすることを考えると、このモデルはADAMによる高精度かつ高速なトレーニングを実現している。
  論文  参考訳（メタデータ） (2023-03-23T15:59:06Z)
• Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition [91.39701446828144]
  スパイクニューラルネットワークは, 代理勾配法を用いて, 通常のリカレントニューラルネットワークのように訓練可能であることを示す。 彼らは音声コマンド認識タスクについて有望な結果を示した。 繰り返し発生する非スパイキングとは対照的に、ゲートを使わずに爆発する勾配問題に対して堅牢性を示す。
  論文  参考訳（メタデータ） (2022-12-01T12:36:26Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Transition based Graph Decoder for Neural Machine Translation [41.7284715234202]
  本稿では,木とグラフのデコーディングをトランジションのシーケンス生成に基づいて一般化したトランスフォーマーベースのアプローチを提案する。 標準のTransformerデコーダよりも性能が向上し,モデルの短縮バージョンも向上した。
  論文  参考訳（メタデータ） (2021-01-29T15:20:45Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)
• Transformer Transducer: A Streamable Speech Recognition Model with Transformer Encoders and RNN-T Loss [14.755108017449295]
  本稿では,ストリーム音声認識システムで使用可能なTransformerエンコーダを用いたエンドツーエンド音声認識モデルを提案する。 自己アテンションに基づくトランスフォーマー計算ブロックは、オーディオシーケンスとラベルシーケンスの両方を独立に符号化するために使用される。 We present results on the LibriSpeech dataset shows that limiting the left context for self-attention makes decodinglytractable for streaming。
  論文  参考訳（メタデータ） (2020-02-07T00:04:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。