論文の概要: Attention Link: An Efficient Attention-Based Low Resource Machine Translation Architecture

• arxiv url: http://arxiv.org/abs/2302.00340v1
• Date: Wed, 1 Feb 2023 09:52:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-02 13:16:55.570376
• Title: Attention Link: An Efficient Attention-Based Low Resource Machine Translation Architecture
• Title（参考訳）: 注意リンク: 効率的な注意に基づく低リソース機械翻訳アーキテクチャ
• Authors: Zeping Min
• Abstract要約: 本稿では,アテンションリンク(AL)と呼ばれる新しいアーキテクチャを提案し,トランスフォーマーモデルの性能向上を支援する。 低トレーニングリソースにおける注意リンクアーキテクチャの優位性を理論的に実証する。 実験の結果はすべて、私たちの注目のリンクが強力で、大幅な改善につながることを示しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have achieved great success in machine translation, but transformer-based NMT models often require millions of bilingual parallel corpus for training. In this paper, we propose a novel architecture named as attention link (AL) to help improve transformer models' performance, especially in low training resources. We theoretically demonstrate the superiority of our attention link architecture in low training resources. Besides, we have done a large number of experiments, including en-de, de-en, en-fr, en-it, it-en, en-ro translation tasks on the IWSLT14 dataset as well as real low resources scene on bn-gu and gu-ta translation tasks on the CVIT PIB dataset. All the experiment results show our attention link is powerful and can lead to a significant improvement. In addition, we achieve a 37.9 BLEU score, a new sota, on the IWSLT14 de-en task by combining our attention link and other advanced methods.
• Abstract（参考訳）: トランスフォーマーは機械翻訳において大きな成功を収めてきたが、トランスフォーマーベースのNMTモデルはトレーニングに数百万のバイリンガル並列コーパスを必要とすることが多い。 本稿では,特に低訓練環境においてトランスフォーマーモデルの性能を向上させるために,アテンションリンク (al) と呼ばれる新しいアーキテクチャを提案する。 低トレーニングリソースにおける注意リンクアーキテクチャの優位性を理論的に実証する。 さらに、IWSLT14データセット上の en-de, de-en, en-fr, en-it, it-en, en-ro 変換タスク、CVIT PIBデータセット上の bn-gu および gu-ta 変換タスクの実際の低リソースシーンなど、多数の実験を行った。 実験結果はすべて、私たちの注意リンクが強力で、大幅な改善につながることを示している。 さらに,アテンションリンクと他の高度な手法を組み合わせることで,iwslt14デエンタスク上で37.9 bleuスコア,新たなsotaを実現する。

関連論文リスト

• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Semi-supervised Neural Machine Translation with Consistency Regularization for Low-Resource Languages [3.475371300689165]
  本稿では,高品質な文ペアを増補し,半教師付き方式でNMTモデルを訓練することにより,低リソース言語の問題に対処する,シンプルかつ効果的な手法を提案する。 具体的には、教師あり学習におけるクロスエントロピー損失と、疑似および拡張的対象文が与えられた教師なしのファッションにおけるKLディバージェンスを組み合わせる。 実験の結果,提案手法はNMTベースライン,特に0.46-2.03BLEUスコアを持つ低リソースデータセットにおいて,NMTベースラインを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2023-04-02T15:24:08Z)
• Effective General-Domain Data Inclusion for the Machine Translation Task by Vanilla Transformers [0.0]
  本稿では,ドイツ語のソース文を英語のターゲット文に翻訳可能なトランスフォーマーベースシステムを提案する。 我々はWMT'13データセットから、ニュースコメンタリーなドイツ語-英語並列文の実験を行った。 We found that including the IWSLT'16 dataset in training help a gain of 2 BLEU score points on the test set of the WMT'13 dataset。
  論文  参考訳（メタデータ） (2022-09-28T13:14:49Z)
• XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding [73.24847320536813]
  本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。 我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
  論文  参考訳（メタデータ） (2022-04-15T03:44:00Z)
• Improving Neural Machine Translation by Denoising Training [95.96569884410137]
  本稿では,ニューラルネットワーク翻訳のためのトレーニングDoTの簡易かつ効果的な事前学習戦略を提案する。 モデルパラメータを、初期段階のソースおよびターゲットサイドのDenoisingタスクで更新し、正常にモデルをチューニングします。 実験によると、DoTは12のバイリンガルと16の多言語方向にわたるニューラルマシン翻訳性能を一貫して改善している。
  論文  参考訳（メタデータ） (2022-01-19T00:11:38Z)
• Improving Neural Machine Translation by Bidirectional Training [85.64797317290349]
  我々は、ニューラルネットワーク翻訳のためのシンプルで効果的な事前学習戦略である双方向トレーニング(BiT)を提案する。 具体的には、初期モデルのパラメータを双方向に更新し、正常にモデルを調整する。 実験の結果,BiTは8つの言語対上の15の翻訳タスクに対して,SOTAニューラルマシン翻訳性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2021-09-16T07:58:33Z)
• Netmarble AI Center's WMT21 Automatic Post-Editing Shared Task Submission [6.043109546012043]
  本稿では,Netmarble による WMT21 Automatic Post-Editing (APE) Shared Task for the English-German Language pairについて述べる。 Facebook FairのWMT19ニュース翻訳モデルは、大規模で強力なトレーニング済みニューラルネットワークを扱うために選ばれた。 性能向上のために、トレーニング後および微調整時に、外部翻訳を拡張機械翻訳(MT)として活用する。
  論文  参考訳（メタデータ） (2021-09-14T08:21:18Z)
• The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
  本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。 私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。 翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
  論文  参考訳（メタデータ） (2021-07-24T09:53:34Z)
• Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
  本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-25T13:43:11Z)
• Attention Is All You Need [36.87735219227719]
  本稿では,アテンション機構のみに基づく新しいシンプルなネットワークアーキテクチャであるTransformerを提案する。 2つの機械翻訳タスクの実験は、これらのモデルの品質が優れていることを示している。
  論文  参考訳（メタデータ） (2017-06-12T17:57:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。