論文の概要: YANMTT: Yet Another Neural Machine Translation Toolkit

• arxiv url: http://arxiv.org/abs/2108.11126v1
• Date: Wed, 25 Aug 2021 08:47:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-26 17:04:46.623606
• Title: YANMTT: Yet Another Neural Machine Translation Toolkit
• Title（参考訳）: YANMTT: もう1つのニューラルマシン翻訳ツールキット
• Authors: Raj Dabre, Eiichiro Sumita
• Abstract要約: 本稿では,オープンソースニューラルネットワーク翻訳(NMT)ツールキットであるYet Another Neural Machine Translation Toolkit(YANMTT)について述べる。 YANMTTは、大規模NMTモデルを事前訓練するための最小限のコードで問題に対処し、事前訓練されたパラメータを選択的に転送し、微調整し、翻訳を行い、可視化と分析のための表現と注意を抽出することを目的としている。
• 参考スコア（独自算出の注目度）: 33.96429439165039
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this paper we present our open-source neural machine translation (NMT) toolkit called "Yet Another Neural Machine Translation Toolkit" abbreviated as YANMTT which is built on top of the Transformers library. Despite the growing importance of sequence to sequence pre-training there surprisingly few, if not none, well established toolkits that allow users to easily do pre-training. Toolkits such as Fairseq which do allow pre-training, have very large codebases and thus they are not beginner friendly. With regards to transfer learning via fine-tuning most toolkits do not explicitly allow the user to have control over what parts of the pre-trained models can be transferred. YANMTT aims to address these issues via the minimum amount of code to pre-train large scale NMT models, selectively transfer pre-trained parameters and fine-tune them, perform translation as well as extract representations and attentions for visualization and analyses. Apart from these core features our toolkit also provides other advanced functionalities such as but not limited to document/multi-source NMT, simultaneous NMT and model compression via distillation which we believe are relevant to the purpose behind our toolkit.
• Abstract（参考訳）: 本稿では,Transformersライブラリ上に構築されたYANMTT(Yet Another Neural Machine Translation Toolkit)と呼ばれるオープンソースのニューラルネットワーク翻訳ツールキットについて述べる。 シーケンスからシーケンスへの事前トレーニングの重要性が増しているにも関わらず、ユーザが簡単に事前トレーニングできる、十分に確立されたツールキットは驚くほど少ない。 事前トレーニングが可能なFairseqのようなツールキットは非常に大きなコードベースであるため、初心者フレンドリーではない。 微調整による転送学習に関しては、ほとんどのツールキットは、ユーザが事前学習されたモデルのどの部分を転送できるかを明示的に制御できない。 YANMTTは、大規模なNMTモデルを事前訓練するための最小限のコードでこれらの問題に対処し、事前訓練されたパラメータを選択的に転送し、微調整し、翻訳を行い、可視化と分析のための表現と注意を抽出することを目的としている。 これらのコア機能とは別に、ツールキットはドキュメント/マルチソースNMT、同時NMT、蒸留によるモデル圧縮といった高度な機能を提供しています。

関連論文リスト

• ViNMT: Neural Machine Translation Tookit [0.0]
  ニューラルネットワーク翻訳のためのオープンソースツールキット(NMT)を提案する。 新しいツールキットは、主にVaulted Transformer(Vaswani et al., 2017)に基づいている。 それは、各コーパスからモデルを構築することから、新しい予測を推測したり、モデルをサービス可能なJITフォーマットにパッケージングするまで、バイリンガルとマルチリンガルの両方の翻訳タスクをサポートするためのツールである。
  論文  参考訳（メタデータ） (2021-12-31T02:42:39Z)
• Towards Reinforcement Learning for Pivot-based Neural Machine Translation with Non-autoregressive Transformer [49.897891031932545]
  Pivot-based Neural Machine Translation (NMT) は、低リソースのセットアップで一般的に使用される。 我々は、ソースターゲットデータのトレーニングを可能にするエンドツーエンドのピボットベース統合モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-27T14:49:35Z)
• Language Models are Good Translators [63.528370845657896]
  単一言語モデル(LM4MT)は,強力なエンコーダデコーダNMTモデルと同等の性能が得られることを示す。 ピボットベースおよびゼロショット変換タスクの実験により、LM4MTはエンコーダ・デコーダのNMTモデルよりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-25T13:30:29Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Better Neural Machine Translation by Extracting Linguistic Information from BERT [4.353029347463806]
  ニューラルマシン翻訳(NMT)に言語情報を追加することは、主に事前訓練されたモデルからの点推定の使用に焦点を当てている。 我々は点推定の代わりにBERTから細調整ベクターベース言語情報を抽出することによりNMTを増強する。
  論文  参考訳（メタデータ） (2021-04-07T00:03:51Z)
• Trankit: A Light-Weight Transformer-based Toolkit for Multilingual Natural Language Processing [22.38792093462942]
  Trankitは多言語自然言語処理のための軽量トランスフォーマーベースのツールキット 100言語以上の基本的なNLPタスクのためのトレーニング可能なパイプラインと56言語のための90の事前トレーニングパイプラインを提供する。 Trankitは、文のセグメンテーション、音声の一部タグ付け、形態的特徴タグ付け、依存性解析よりも、以前の多言語NLPパイプラインを大幅に上回る。
  論文  参考訳（メタデータ） (2021-01-09T04:55:52Z)
• Neural Machine Translation: Challenges, Progress and Future [62.75523637241876]
  機械翻訳(英: Machine translation, MT)は、コンピュータを利用して人間の言語を自動翻訳する技術である。 ニューラルマシン翻訳(NMT)は、ディープニューラルネットワークを用いたソース言語とターゲット言語間の直接マッピングをモデル化する。 この記事では、NMTフレームワークをレビューし、NMTの課題について論じ、最近のエキサイティングな進歩を紹介します。
  論文  参考訳（メタデータ） (2020-04-13T07:53:57Z)
• Multilingual Denoising Pre-training for Neural Machine Translation [132.66750663226287]
  mBART(mBART)は、大規模モノリンガルコーパスで事前訓練されたシーケンスからシーケンスまでの自動エンコーダである。 mBARTは、完全なシーケンス・ツー・シーケンスモデルを事前訓練する最初の方法の1つである。
  論文  参考訳（メタデータ） (2020-01-22T18:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。