論文の概要: Towards Multilingual Transitivity and Bidirectional Multilingual Agreement for Multilingual Document-level Machine Translation

• arxiv url: http://arxiv.org/abs/2209.13940v1
• Date: Wed, 28 Sep 2022 09:14:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 16:45:44.466301
• Title: Towards Multilingual Transitivity and Bidirectional Multilingual Agreement for Multilingual Document-level Machine Translation
• Title（参考訳）: 多言語文書レベル機械翻訳のための多言語移行性と双方向多言語合意に向けて
• Authors: Hongyuan Lu, Haoyang Huang, Shuming Ma, Dongdong Zhang, Furu Wei, Wai Lam
• Abstract要約: 補助的ターゲットとソースネクショナリーのいずれかの補助的多言語データを鼻で組み込むことは、ソース-ターゲット言語ペアに改善をもたらすことはない。 本稿では,Multilingual Transitivity (MTrans) と呼ばれる新しいフレームワークを提案する。 さらに,異なる言語間の双方向の合意を促進するBi Multilingual Agreement (Bi-MAgree) という新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 107.83158521848372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual machine translation has been proven an effective strategy to support translation between multiple languages with a single model. However, most studies focus on multilingual sentence translation without considering generating long documents across different languages, which requires an understanding of multilingual context dependency and is typically harder. In this paper, we first spot that naively incorporating auxiliary multilingual data either auxiliary-target or source-auxiliary brings no improvement to the source-target language pair in our interest. Motivated by this observation, we propose a novel framework called Multilingual Transitivity (MTrans) to find an implicit optimal route via source-auxiliary-target within the multilingual model. To encourage MTrans, we propose a novel method called Triplet Parallel Data (TPD), which uses parallel triplets that contain (source-auxiliary, auxiliary-target, and source-target) for training. The auxiliary language then serves as a pivot and automatically facilitates the implicit information transition flow which is easier to translate. We further propose a novel framework called Bidirectional Multilingual Agreement (Bi-MAgree) that encourages the bidirectional agreement between different languages. To encourage Bi-MAgree, we propose a novel method called Multilingual Kullback-Leibler Divergence (MKL) that forces the output distribution of the inputs with the same meaning but in different languages to be consistent with each other. The experimental results indicate that our methods bring consistent improvements over strong baselines on three document translation tasks: IWSLT2015 Zh-En, De-En, and Vi-En. Our analysis validates the usefulness and existence of MTrans and Bi-MAgree, and our frameworks and methods are effective on synthetic auxiliary data.
• Abstract（参考訳）: 多言語機械翻訳は、1つのモデルで複数の言語間の翻訳をサポートする効果的な戦略であることが証明されている。 しかし、ほとんどの研究は、多言語間の長い文書の生成を考慮せずに多言語文の翻訳に重点を置いている。 本稿では, 補助的・補助的・補助的・補助的な多言語データを取り込むことで, 対象言語対が改善されないことを最初に見いだした。 この観察に動機づけられ,多言語移行(multilingual transitivity, mtrans)と呼ばれる新しい枠組みを提案し,多言語モデルにおいてソース・オーソリタリ・ターゲティング(source-auxiliary-target)による暗黙的最適経路を求める。 MTransを奨励するために,訓練に(ソース・オクシリアリー,補助ターゲット,ソース・ターゲット)を含む並列三重項を用いるTriplet Parallel Data (TPD) という新しい手法を提案する。 補助言語はピボットとして機能し、翻訳が容易な暗黙の情報遷移フローを自動的に促進する。 さらに,異なる言語間の双方向合意を促進する双方向多言語合意(Bi-MAgree)という新しい枠組みを提案する。 Bi-MAgreeを促進するために,MKL(Multilingual Kullback-Leibler Divergence)と呼ばれる新しい手法を提案する。 IWSLT2015 Zh-En, De-En, Vi-En という3つの文書翻訳タスクに対して,本手法が強いベースラインに対して一貫した改善をもたらすことを示す。 本分析は,MTransおよびBi-MAgreeの有用性と存在を検証し,本手法が合成補助データに有効であることを示す。

関連論文リスト

• LANDeRMT: Detecting and Routing Language-Aware Neurons for Selectively Finetuning LLMs to Machine Translation [43.26446958873554]
  大規模言語モデル(LLM)は,バイリンガルの監督が限られているにもかかわらず,多言語翻訳において有望な結果を示している。 大規模言語モデル(LLM)の最近の進歩は,バイリンガルの監督が限定された場合でも,多言語翻訳において有望な結果を示している。 LandeRMT は LLM を textbfMachine textbfTranslation に選択的に微調整するフレームワークである。
  論文  参考訳（メタデータ） (2024-09-29T02:39:42Z)
• A Novel Paradigm Boosting Translation Capabilities of Large Language Models [11.537249547487045]
  本論文は,一貫した単言語データを用いた二次事前学習,インターリニアテキストフォーマット文書による継続事前学習,および教師付きファインチューニングのためのソース・ランゲージ・コンスタント・インストラクションの活用という,3つの段階からなる新しいパラダイムを提案する。 Llama2モデルを用いた実験結果,特に中国語-Llama2を用いて,LLMの翻訳能力の向上を実証した。
  論文  参考訳（メタデータ） (2024-03-18T02:53:49Z)
• ACT-MNMT Auto-Constriction Turning for Multilingual Neural Machine Translation [38.30649186517611]
  この課題はtextbfunderlineAuto-textbfunderlineConstriction textbfunderlineTurning mechanism for textbfunderlineMultilingual textbfunderlineNeural textbfunderlineMachine textbfunderlineTranslation (model)を導入している。
  論文  参考訳（メタデータ） (2024-03-11T14:10:57Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Beyond Triplet: Leveraging the Most Data for Multimodal Machine Translation [53.342921374639346]
  マルチモーダル機械翻訳は、視覚などの他のモーダルからの情報を取り入れることで、翻訳品質を向上させることを目的としている。 従来のMMTシステムは主に視覚情報へのアクセスと利用に重点を置いており、画像関連データセット上でそれらの手法を検証する傾向がある。 本稿では,MTのための新しい手法と新しいデータセットを確立する。
  論文  参考訳（メタデータ） (2022-12-20T15:02:38Z)
• Non-Parametric Domain Adaptation for End-to-End Speech Translation [72.37869362559212]
  E2E-ST(End-to-End Speech Translation)は、エラー伝播の低減、レイテンシの低減、パラメータの削減などにより注目されている。 本稿では,E2E-STシステムのドメイン適応を実現するために,ドメイン固有のテキスト翻訳コーパスを活用する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:41:02Z)
• Contrastive Learning for Many-to-many Multilingual Neural Machine Translation [16.59039088482523]
  既存の多言語機械翻訳アプローチは主に英語中心の方向に焦点を当てている。 我々は、英語以外の方向の質を重視した多言語翻訳システムの構築を目指している。
  論文  参考訳（メタデータ） (2021-05-20T03:59:45Z)
• Unsupervised Bitext Mining and Translation via Self-trained Contextual Embeddings [51.47607125262885]
  不整合テキストから機械翻訳(MT)のための擬似並列コーパスを作成するための教師なし手法について述べる。 我々は多言語BERTを用いて、最寄りの検索のためのソースとターゲット文の埋め込みを作成し、自己学習によりモデルを適応する。 BUCC 2017 bitextマイニングタスクで並列文ペアを抽出し,F1スコアの最大24.5ポイント増加(絶対)を従来の教師なし手法と比較して観察することで,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-10-15T14:04:03Z)
• Multilingual Denoising Pre-training for Neural Machine Translation [132.66750663226287]
  mBART(mBART)は、大規模モノリンガルコーパスで事前訓練されたシーケンスからシーケンスまでの自動エンコーダである。 mBARTは、完全なシーケンス・ツー・シーケンスモデルを事前訓練する最初の方法の1つである。
  論文  参考訳（メタデータ） (2020-01-22T18:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。