論文の概要: A Deep Investigation of RNN and Self-attention for the
Cyrillic-Traditional Mongolian Bidirectional Conversion
- arxiv url: http://arxiv.org/abs/2209.11963v1
- Date: Sat, 24 Sep 2022 08:55:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 14:19:04.227649
- Title: A Deep Investigation of RNN and Self-attention for the
Cyrillic-Traditional Mongolian Bidirectional Conversion
- Title（参考訳）: キリル・トラジタルモンゴルの双方向変換におけるRNNと自己注意の深い検討
- Authors: Muhan Na, Rui Liu, Feilong and Guanglai Gao
- Abstract要約: Cyrillic-Traditional Mongolian Bidirectional Conversion (CTMBC) タスクには、2つの変換プロセスが含まれている。
近年の研究では、Recurrent Neural Network(RNN)とSelf-attention(あるいはTransformer)ベースのエンコーダデコーダモデルが機械翻訳タスクにおいて大幅に改善されていることが示されている。
本稿では,これら2つの強力なCTMBCタスクの有用性とモンゴル語の凝集特性について検討する。
- 参考スコア（独自算出の注目度）: 9.597339095833737
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cyrillic and Traditional Mongolian are the two main members of the Mongolian
writing system. The Cyrillic-Traditional Mongolian Bidirectional Conversion
(CTMBC) task includes two conversion processes, including Cyrillic Mongolian to
Traditional Mongolian (C2T) and Traditional Mongolian to Cyrillic Mongolian
conversions (T2C). Previous researchers adopted the traditional joint sequence
model, since the CTMBC task is a natural Sequence-to-Sequence (Seq2Seq)
modeling problem. Recent studies have shown that Recurrent Neural Network (RNN)
and Self-attention (or Transformer) based encoder-decoder models have shown
significant improvement in machine translation tasks between some major
languages, such as Mandarin, English, French, etc. However, an open problem
remains as to whether the CTMBC quality can be improved by utilizing the RNN
and Transformer models. To answer this question, this paper investigates the
utility of these two powerful techniques for CTMBC task combined with
agglutinative characteristics of Mongolian language. We build the
encoder-decoder based CTMBC model based on RNN and Transformer respectively and
compare the different network configurations deeply. The experimental results
show that both RNN and Transformer models outperform the traditional joint
sequence model, where the Transformer achieves the best performance. Compared
with the joint sequence baseline, the word error rate (WER) of the Transformer
for C2T and T2C decreased by 5.72\% and 5.06\% respectively.
- Abstract（参考訳）: キリル文字と伝統的なモンゴル文字はモンゴル文字体系の主要な2つの要素である。
キリル・トラジタル・モンゴルの双方向変換(CTMBC)タスクには、キリル・モンゴル人(C2T)と伝統的モンゴル人(T2C)の2つの変換プロセスが含まれる。
従来、CTMBCタスクはSeq2Seq(Sequence-to-Sequence)モデリングの問題であるため、ジョイントシーケンスモデルが採用されていた。
近年の研究では、Recurrent Neural Network(RNN)とSelf-attention(あるいはTransformer)ベースのエンコーダデコーダモデルが、マンダリン、英語、フランス語などの主要言語間の機械翻訳タスクを大幅に改善していることが示されている。
しかし、RNNモデルとTransformerモデルを利用してCTMBCの品質を向上できるかどうかについては、未解決の問題が残っている。
本稿では,これら2つの強力なCTMBCタスクの有用性とモンゴル語の凝集特性について検討する。
我々はそれぞれRNNとTransformerに基づくエンコーダデコーダに基づくCTMBCモデルを構築し、異なるネットワーク構成を深く比較する。
実験の結果,RNNモデルとTransformerモデルの両方が従来のジョイントシーケンスモデルより優れており,Transformerが最高の性能を発揮することがわかった。
C2T と T2C の変換器の単語誤り率 (WER) はそれぞれ 5.72 % と 5.06 % に減少した。
関連論文リスト
- A Case Study on Context-Aware Neural Machine Translation with Multi-Task Learning [49.62044186504516]
文書レベルのニューラルネットワーク翻訳(DocNMT)では、コンテクストやソース文のエンコーディングにおいてマルチエンコーダアプローチが一般的である。
近年の研究では、コンテキストエンコーダがノイズを発生させ、コンテキストの選択に頑健なモデルを実現することが示されている。
本稿では、マルチタスク学習(MTL)を通してコンテキストエンコーディングを明示的にモデル化することで、コンテキスト選択に敏感なモデルを実現することにより、この観察をさらに検討する。
論文 参考訳（メタデータ） (2024-07-03T12:50:49Z) - Human Evaluation of English--Irish Transformer-Based NMT [2.648836772989769]
ベストパフォーマンスのTransformerシステムは、RNNベースのモデルと比較して精度と誤差を著しく低減する。
Google Translateに対してベンチマークを行ったところ、我々の翻訳エンジンは大幅に改善された。
論文 参考訳（メタデータ） (2024-03-04T11:45:46Z) - Visual Saliency Transformer [127.33678448761599]
RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。
イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。
実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
論文 参考訳（メタデータ） (2021-04-25T08:24:06Z) - Source and Target Bidirectional Knowledge Distillation for End-to-end
Speech Translation [88.78138830698173]
外部テキストベースNMTモデルからのシーケンスレベルの知識蒸留(SeqKD)に注目した。
E2E-STモデルを訓練し、パラフレーズ転写を1つのデコーダで補助タスクとして予測する。
論文 参考訳（メタデータ） (2021-04-13T19:00:51Z) - TSNAT: Two-Step Non-Autoregressvie Transformer Models for Speech
Recognition [69.68154370877615]
非自己回帰(NAR)モデルは、出力トークン間の時間的依存関係を排除し、少なくとも1ステップで出力トークン全体を予測することができる。
この2つの問題に対処するため,TSNATと呼ばれる新しいモデルを提案する。
以上の結果から,TSNATはARモデルと競合する性能を示し,複雑なNARモデルよりも優れていた。
論文 参考訳（メタデータ） (2021-04-04T02:34:55Z) - Transition based Graph Decoder for Neural Machine Translation [41.7284715234202]
本稿では,木とグラフのデコーディングをトランジションのシーケンス生成に基づいて一般化したトランスフォーマーベースのアプローチを提案する。
標準のTransformerデコーダよりも性能が向上し,モデルの短縮バージョンも向上した。
論文 参考訳（メタデータ） (2021-01-29T15:20:45Z) - Tight Integrated End-to-End Training for Cascaded Speech Translation [40.76367623739673]
カスケード音声翻訳モデルは、離散的および非微分可能転写に依存している。
直接音声翻訳は、誤りの伝播を避けるための代替手法である。
この研究は、カスケードコンポーネント全体を1つのエンドツーエンドのトレーニング可能なモデルにまとめることの可能性を探る。
論文 参考訳（メタデータ） (2020-11-24T15:43:49Z) - Dual-decoder Transformer for Joint Automatic Speech Recognition and
Multilingual Speech Translation [71.54816893482457]
自動音声認識(ASR)と多言語音声翻訳(ST)を共同で行う新しいモデルアーキテクチャであるデュアルデコーダトランスフォーマを導入する。
我々のモデルはオリジナルのTransformerアーキテクチャに基づいているが、2つのデコーダで構成されており、それぞれが1つのタスク(ASRまたはST)を担っている。
論文 参考訳（メタデータ） (2020-11-02T04:59:50Z) - Character-level Transformer-based Neural Machine Translation [5.699756532377753]
本稿では,トランスフォーマーをベースとした新しい手法について論じる。スピードと品質を,サブワードレベルでのトランスフォーマーとキャラクタレベルで比較する。
WMT'15: DE-EN, CS-EN, FI-EN, RU-ENの4つの言語対について評価を行った。
提案された新しいアーキテクチャは、単一のGPUでトレーニングすることが可能で、キャラクタレベルのTransformerよりも34%高速である。
論文 参考訳（メタデータ） (2020-05-22T15:40:43Z) - DiscreTalk: Text-to-Speech as a Machine Translation Problem [52.33785857500754]
本稿ではニューラルマシン翻訳(NMT)に基づくエンドツーエンドテキスト音声合成(E2E-TTS)モデルを提案する。
提案モデルは,非自己回帰ベクトル量子化変分オートエンコーダ(VQ-VAE)モデルと自己回帰トランスフォーマー-NMTモデルという2つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2020-05-12T02:45:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。