Fugu-MT 論文翻訳(概要): Character-Level Translation with Self-attention

論文の概要: Character-Level Translation with Self-attention

arxiv url: http://arxiv.org/abs/2004.14788v1
Date: Thu, 30 Apr 2020 14:05:26 GMT
ステータス: 処理完了
システム内更新日: 2022-12-08 04:25:07.285225
Title: Character-Level Translation with Self-attention
Title（参考訳）: 自己注意による文字レベル翻訳
Authors: Yingqiang Gao, Nikola I. Nikolov, Yuhuang Hu, Richard H.R. Hahnloser
Abstract要約: 文字レベルのニューラルマシン翻訳における自己注意モデルの有効性について検討する。本稿では,標準変圧器モデルとエンコーダブロックがコンボリューションを用いて周辺文字からの情報を結合する新しい変種を検証した。我々の変圧器変種はキャラクタレベルで標準変圧器より一貫して優れ、より堅牢なキャラクタレベルのアライメントを学習しながらより高速に収束する。
参考スコア（独自算出の注目度）: 9.864260997723974
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We explore the suitability of self-attention models for character-level neural machine translation. We test the standard transformer model, as well as a novel variant in which the encoder block combines information from nearby characters using convolutions. We perform extensive experiments on WMT and UN datasets, testing both bilingual and multilingual translation to English using up to three input languages (French, Spanish, and Chinese). Our transformer variant consistently outperforms the standard transformer at the character-level and converges faster while learning more robust character-level alignments.
Abstract（参考訳）: 文字レベルのニューラルマシン翻訳における自己照準モデルの適合性について検討する。我々は、標準的なトランスモデルと、エンコーダブロックがコンボリューションを用いて近隣文字からの情報を結合する新しい変種を試験する。我々はWMTとUNデータセットに関する広範な実験を行い、最大3つの入力言語(フランス語、スペイン語、中国語)を用いてバイリンガルと多言語の両方を英語に翻訳した。我々の変圧器変圧器はキャラクタレベルで標準変圧器より一貫して優れ、より堅牢なキャラクタレベルのアライメントを学習しながらより高速に収束する。

関連論文リスト

Character-level NMT and language similarity [1.90365714903665]
チェコ語とクロアチア語、ドイツ語、ハンガリー語、スロバキア語、スペイン語の翻訳における言語類似度およびトレーニングデータセットのサイズに対する文字レベルのニューラルマシン翻訳の有効性について検討した。 MT自動測定値を用いてモデルの評価を行い、類似言語間の翻訳が文字レベルの入力セグメンテーションの恩恵を受けることを示す。我々は、すでに訓練済みのサブワードレベルのモデルを文字レベルに微調整することで、ギャップを埋めることが可能である、という以前の知見を確認した。
論文参考訳（メタデータ） (2023-08-08T17:01:42Z)
Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
論文参考訳（メタデータ） (2021-08-31T19:39:55Z)
Rethinking Document-level Neural Machine Translation [73.42052953710605]
現在のモデルでは、ドキュメントレベルの翻訳に十分な能力がありますか? 適切なトレーニング技術を持つオリジナルのトランスフォーマーは,2000語の長さであっても,文書翻訳の強力な結果が得られることを観察する。
論文参考訳（メタデータ） (2020-10-18T11:18:29Z)
Improving Sentiment Analysis over non-English Tweets using Multilingual Transformers and Automatic Translation for Data-Augmentation [77.69102711230248]
我々は、英語のつぶやきを事前学習し、自動翻訳を用いてデータ拡張を適用して非英語の言語に適応する多言語トランスフォーマーモデルを提案する。我々のフランス語、スペイン語、ドイツ語、イタリア語での実験は、この手法が非英語のツイートの小さなコーパスよりも、トランスフォーマーの結果を改善する効果的な方法であることを示唆している。
論文参考訳（メタデータ） (2020-10-07T15:44:55Z)
Character-level Transformer-based Neural Machine Translation [5.699756532377753]
本稿では,トランスフォーマーをベースとした新しい手法について論じる。スピードと品質を,サブワードレベルでのトランスフォーマーとキャラクタレベルで比較する。 WMT'15: DE-EN, CS-EN, FI-EN, RU-ENの4つの言語対について評価を行った。提案された新しいアーキテクチャは、単一のGPUでトレーニングすることが可能で、キャラクタレベルのTransformerよりも34%高速である。
論文参考訳（メタデータ） (2020-05-22T15:40:43Z)
Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文参考訳（メタデータ） (2020-05-20T17:25:43Z)
Segatron: Segment-Aware Transformer for Language Modeling and Understanding [79.84562707201323]
本稿では,セグメンテーション対応トランスフォーマー(Segatron)を提案する。本稿ではまず,Transformerベースの言語モデルであるTransformer-XLにセグメント認識機構を導入する。 WikiText-103データセット上で17.1パープレキシティを実現することにより,Transformer-XLベースモデルと大規模モデルをさらに改善できることがわかった。
論文参考訳（メタデータ） (2020-04-30T17:38:27Z)
Enriching the Transformer with Linguistic Factors for Low-Resource Machine Translation [2.2344764434954256]
本研究では,現在最先端のニューラルマシン翻訳アーキテクチャであるTransformerを提案する。特に,提案するFactered Transformerは,機械翻訳システムに付加的な知識を挿入する言語的要因を用いている。 IWSLTドイツ語-英語タスクにおけるベースライン変換器の0.8BLEUの改善を示す。
論文参考訳（メタデータ） (2020-04-17T03:40:13Z)
Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation [73.11214377092121]
我々は,各エンコーダ層の注意頭数のみを,単純な固定型(非学習型)の注意パターンに置き換えることを提案する。異なるデータサイズと複数の言語ペアを用いた実験により、トレーニング時にトランスフォーマーのエンコーダ側でアテンションヘッドを固定することは翻訳品質に影響を与えないことが示された。
論文参考訳（メタデータ） (2020-02-24T13:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。