論文の概要: Subword Segmentation and a Single Bridge Language Affect Zero-Shot Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2011.01703v1
• Date: Tue, 3 Nov 2020 13:45:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 04:52:33.272517
• Title: Subword Segmentation and a Single Bridge Language Affect Zero-Shot Neural Machine Translation
• Title（参考訳）: サブワードセグメンテーションとシングルブリッジ言語がゼロショットニューラルマシン翻訳に及ぼす影響
• Authors: Annette Rios and Mathias M\"uller and Rico Sennrich
• Abstract要約: WMTデータに基づいて学習した多言語EN$leftrightarrow$FR,CS,DE,FIシステムのゼロショット性能について検討した。 ゼロショット翻訳におけるソースのコピーに対するバイアスを観察し、サブワードセグメンテーションの選択がこのバイアスにどのように影響するかを考察する。
• 参考スコア（独自算出の注目度）: 36.4055239280145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zero-shot neural machine translation is an attractive goal because of the high cost of obtaining data and building translation systems for new translation directions. However, previous papers have reported mixed success in zero-shot translation. It is hard to predict in which settings it will be effective, and what limits performance compared to a fully supervised system. In this paper, we investigate zero-shot performance of a multilingual EN$\leftrightarrow${FR,CS,DE,FI} system trained on WMT data. We find that zero-shot performance is highly unstable and can vary by more than 6 BLEU between training runs, making it difficult to reliably track improvements. We observe a bias towards copying the source in zero-shot translation, and investigate how the choice of subword segmentation affects this bias. We find that language-specific subword segmentation results in less subword copying at training time, and leads to better zero-shot performance compared to jointly trained segmentation. A recent trend in multilingual models is to not train on parallel data between all language pairs, but have a single bridge language, e.g. English. We find that this negatively affects zero-shot translation and leads to a failure mode where the model ignores the language tag and instead produces English output in zero-shot directions. We show that this bias towards English can be effectively reduced with even a small amount of parallel data in some of the non-English pairs.
• Abstract（参考訳）: ゼロショットニューラルマシン翻訳は、データを取得し、新しい翻訳方向のための翻訳システムを構築するコストが高いため、魅力的な目標である。 しかし、以前の論文はゼロショット翻訳の成功を報告している。 どの設定が効果的か、どれが完全に監督されたシステムよりも性能が制限されるかを予測するのは難しい。 本稿では,WMTデータに基づいて学習した多言語EN$\leftrightarrow${FR,CS,DE,FI}システムのゼロショット性能について検討する。 ゼロショット性能は非常に不安定であり、トレーニング実行中に6 BLEU以上で変化する可能性があるため、改善を確実に追跡することは困難である。 ゼロショット翻訳におけるソースのコピーに対するバイアスを観察し,サブワードセグメンテーションの選択がこのバイアスにどのように影響するかを検討する。 言語固有のサブワードセグメンテーションは、トレーニング時にサブワードのコピーが少なくなり、共同訓練されたセグメンテーションよりもゼロショットのパフォーマンスが向上することがわかった。 最近の多言語モデルのトレンドは、すべての言語ペア間の並列データをトレーニングするのではなく、例えば英語のような単一のブリッジ言語を持つことだ。 これはゼロショット翻訳に悪影響を及ぼし、モデルが言語タグを無視してゼロショット方向の英語出力を生成する失敗モードにつながる。 英語に対する偏りは、一部の非英語ペアにおいて、少量の並列データであっても効果的に低減できることを示す。

関連論文リスト

• How Far Can 100 Samples Go? Unlocking Overall Zero-Shot Multilingual Translation via Tiny Multi-Parallel Data [10.286714403840355]
  リソースを消費する一般的な解決策は、トレーニングコーパスに可能な限り多くの関連する翻訳方向を追加することである。 英語中心のモデルでは、非常に少量のマルチ並列データで簡単に微調整することで驚くほど大きなゼロショット改善が達成できることを示す。
  論文  参考訳（メタデータ） (2024-01-22T23:55:00Z)
• Question Translation Training for Better Multilingual Reasoning [108.10066378240879]
  大規模言語モデルは推論タスクにおいて魅力的なパフォーマンスを示すが、英語以外の言語ではより悪いパフォーマンスを示す傾向がある。 典型的な解決策は、命令データを興味のあるすべての言語に翻訳し、結果の多言語データをトレーニングすることである。 本稿では,X- English parallel question dataを微調整することで,推論する質問を英語に翻訳するモデルを訓練する。
  論文  参考訳（メタデータ） (2024-01-15T16:39:10Z)
• Narrowing the Gap between Zero- and Few-shot Machine Translation by Matching Styles [53.92189950211852]
  大規模言語モデルは、文脈内学習を用いたゼロショットと少数ショットの例を用いて、機械翻訳に一般化する能力を示した。 本稿では,このギャップに寄与する要因について検討し,対象コーパスの書字スタイルを一致させることで,このギャップをほとんど(約70%)閉鎖できることを示す。
  論文  参考訳（メタデータ） (2023-11-04T03:18:45Z)
• Exploring Linguistic Similarity and Zero-Shot Learning for Multilingual Translation of Dravidian Languages [0.34998703934432673]
  我々はDravidian-Dravidian多言語翻訳のための単一デコーダニューラルマシン翻訳システムを構築した。 我々のモデルは、50%の言語方向で訓練された場合、大規模ピボットベースモデルの3 BLEU以内のスコアを得る。
  論文  参考訳（メタデータ） (2023-08-10T13:38:09Z)
• On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation [104.85258654917297]
  識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。 多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。 我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T12:43:31Z)
• Language Agnostic Multilingual Information Retrieval with Contrastive Learning [59.26316111760971]
  本稿では,多言語情報検索システムの学習方法を提案する。 並列コーパスと非並列コーパスを利用して、事前訓練された多言語言語モデルを改善する。 我々のモデルは少数のパラレル文でもうまく機能する。
  論文  参考訳（メタデータ） (2022-10-12T23:53:50Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Rethinking Zero-shot Neural Machine Translation: From a Perspective of Latent Variables [28.101782382170306]
  従来の訓練対象にピボット言語に基づく自動エンコーダ目標を導入し,ゼロショット方向の翻訳精度を向上させる。 提案手法は, 突発的相関を効果的に排除し, 顕著な性能で最先端の手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-09-10T07:18:53Z)
• Improving Zero-Shot Translation by Disentangling Positional Information [24.02434897109097]
  言語固有の表現を引き起こす主な要因は、入力トークンに対する位置対応であることを示す。 指示方向の品質を維持しながら、ゼロショット翻訳で最大18.5 BLEUポイントを得る。
  論文  参考訳（メタデータ） (2020-12-30T12:20:41Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。