論文の概要: Multilingual Document-Level Translation Enables Zero-Shot Transfer From Sentences to Documents

• arxiv url: http://arxiv.org/abs/2109.10341v1
• Date: Tue, 21 Sep 2021 17:49:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-22 14:36:03.311005
• Title: Multilingual Document-Level Translation Enables Zero-Shot Transfer From Sentences to Documents
• Title（参考訳）: 文から文書へのゼロショット転送を可能にする多言語文書レベル翻訳
• Authors: Biao Zhang, Ankur Bapna, Melvin Johnson, Ali Dabirmoghaddam, Naveen Arivazhagan, Orhan Firat
• Abstract要約: ドキュメントレベルのニューラルマシン翻訳(DocNMT)は、クロスセンスコンテキストを取り入れたコヒーレントな翻訳を提供する。 本研究では,DocNMTにおける文脈モデリングが,ゼロショット方式で文から文書への変換可能かどうかについて検討する。
• 参考スコア（独自算出の注目度）: 19.59133362105703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Document-level neural machine translation (DocNMT) delivers coherent translations by incorporating cross-sentence context. However, for most language pairs there's a shortage of parallel documents, although parallel sentences are readily available. In this paper, we study whether and how contextual modeling in DocNMT is transferable from sentences to documents in a zero-shot fashion (i.e. no parallel documents for student languages) through multilingual modeling. Using simple concatenation-based DocNMT, we explore the effect of 3 factors on multilingual transfer: the number of document-supervised teacher languages, the data schedule for parallel documents at training, and the data condition of parallel documents (genuine vs. backtranslated). Our experiments on Europarl-7 and IWSLT-10 datasets show the feasibility of multilingual transfer for DocNMT, particularly on document-specific metrics. We observe that more teacher languages and adequate data schedule both contribute to better transfer quality. Surprisingly, the transfer is less sensitive to the data condition and multilingual DocNMT achieves comparable performance with both back-translated and genuine document pairs.
• Abstract（参考訳）: document-level neural machine translation(docnmt)は、クロスセンテンスコンテキストを組み込んだコヒーレントな翻訳を提供する。 しかし、ほとんどの言語ペアでは、並列文は容易に利用できるが、並列文書が不足している。 本稿では, docnmtにおける文脈モデリングが, ゼロショット方式で文から文書へ(すなわち, 学生言語のための並列文書を含まない)転送可能かどうかについて, 多言語モデルを用いて検討する。 単純な結合型docnmtを用いて,文書教師言語数,訓練時の並列文書データスケジュール,並列文書データ状態(元と逆変換)の3つの因子が多言語間転送に与える影響について検討した。 Europarl-7 および IWSLT-10 データセットを用いた実験により,DocNMT の多言語変換の可能性,特に文書固有の指標について検証した。 我々は、より多くの教師言語と適切なデータスケジュールが、より優れた転送品質に寄与することを観察する。 驚いたことに、転送はデータ条件に敏感ではなく、多言語DocNMTはバックトランスレートと真のドキュメントペアで同等のパフォーマンスを達成する。

関連論文リスト

• A General-Purpose Multilingual Document Encoder [9.868221447090855]
  階層トランスモデル(HMDE)として多言語文書エンコーダを事前訓練する。 トレーニングデータを作成するために、ウィキペディアを同等のドキュメントのソースとして利用しています。 言語間文書レベルのタスクにおいて,HMDEの有効性について検討した。
  論文  参考訳（メタデータ） (2023-05-11T17:55:45Z)
• Exploring Paracrawl for Document-level Neural Machine Translation [21.923881766940088]
  文書レベルのニューラルマシン翻訳(NMT)は、多くのデータセット上で文レベルのNMTよりも優れています。 パラクロールからパラクロールのパラパラパラパラグラフのみを用いて訓練した文書レベルのNMTモデルを実文書の翻訳に利用できることを示す。
  論文  参考訳（メタデータ） (2023-04-20T11:21:34Z)
• Beyond Triplet: Leveraging the Most Data for Multimodal Machine Translation [53.342921374639346]
  マルチモーダル機械翻訳は、視覚などの他のモーダルからの情報を取り入れることで、翻訳品質を向上させることを目的としている。 従来のMMTシステムは主に視覚情報へのアクセスと利用に重点を置いており、画像関連データセット上でそれらの手法を検証する傾向がある。 本稿では,MTのための新しい手法と新しいデータセットを確立する。
  論文  参考訳（メタデータ） (2022-12-20T15:02:38Z)
• Realistic Zero-Shot Cross-Lingual Transfer in Legal Topic Classification [21.44895570621707]
  我々は,最近のMultiEURLEXデータセットを用いて,法的トピック分類におけるゼロショットの言語間移動を検討する。 元のデータセットには並列文書が含まれており、これはゼロショットの言語間転送には非現実的であるため、並列文書を使わずにデータセットの新バージョンを開発する。 翻訳に基づく手法は多言語事前学習モデルの言語間微調整を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2022-06-08T10:02:11Z)
• Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval [66.69799641522133]
  最先端のニューラルランカーは、お腹が空いていることで悪名高い。 現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダを用いて他の言語や言語間設定に転送するのが一般的である。 本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) の2つのパラメータ効率のアプローチにより,より軽量で効果的なゼロショット転送が可能となることを示す。
  論文  参考訳（メタデータ） (2022-04-05T15:44:27Z)
• DOCmT5: Document-Level Pretraining of Multilingual Language Models [9.072507490639218]
  DOCmT5は,大規模並列文書を事前学習した多言語列列列言語モデルである。 本稿では, 簡易かつ効果的な事前学習目標である文書順序付け機械翻訳を提案する。 DrMTは、さまざまなドキュメントレベルの生成タスクに対して、強力なベースラインよりも一貫した改善を提供する。
  論文  参考訳（メタデータ） (2021-12-16T08:58:52Z)
• Multilingual Machine Translation Systems from Microsoft for WMT21 Shared Task [95.06453182273027]
  本報告では、大規模多言語機械翻訳におけるWMT21共有タスクのためのMicrosoftの機械翻訳システムについて述べる。 共有タスクへのモデル提出はDeltaLMnotefooturlhttps://aka.ms/deltalmで行われました。 最終提出は自動評価基準で3トラックにランクインした。
  論文  参考訳（メタデータ） (2021-11-03T09:16:17Z)
• Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
  我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。 我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。 パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:22:38Z)
• MultiEURLEX -- A multi-lingual and multi-label legal document classification dataset for zero-shot cross-lingual transfer [13.24356999779404]
  法律文書のトピック分類のための多言語データセットであるMulti-EURLEXを紹介する。 データセットは、正式に23言語に翻訳された65kの欧州連合(EU)の法律で構成され、EUROVOC分類の複数のラベルが注釈付けされている。 そこで、ある言語(ソース)の注釈付きトレーニング文書を利用して、別の言語(ターゲット)のドキュメントを分類します。
  論文  参考訳（メタデータ） (2021-09-02T12:52:55Z)
• Word Alignment by Fine-tuning Embeddings on Parallel Corpora [96.28608163701055]
  並列コーパス上の単語アライメントには、翻訳語彙の学習、言語処理ツールの言語間変換、翻訳出力の自動評価や解析など、幅広い応用がある。 近年,複数言語で訓練された言語モデル(LM)から抽出した事前学習された単語埋め込みが,並列データに対する明示的な訓練がなくても,単語アライメントタスクにおける競合的な結果が得られることを示す研究も行われている。 本稿では,事前学習したLMの活用と,アライメント品質の向上を目的とした並列テキストによる微調整,提案という2つのアプローチの結婚方法を検討する。
  論文  参考訳（メタデータ） (2021-01-20T17:54:47Z)
• What makes multilingual BERT multilingual? [60.9051207862378]
  本研究は,既存の言語間能力の文献を補うための詳細な実験研究である。 我々は,非コンテクスト化および文脈化表現モデルの言語間能力と同一データとの比較を行った。 データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素であることがわかった。
  論文  参考訳（メタデータ） (2020-10-20T05:41:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。