論文の概要: Learning Multilingual Sentence Representations with Cross-lingual Consistency Regularization

• arxiv url: http://arxiv.org/abs/2306.06919v1
• Date: Mon, 12 Jun 2023 07:39:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 15:39:00.401751
• Title: Learning Multilingual Sentence Representations with Cross-lingual Consistency Regularization
• Title（参考訳）: 言語間整合規則化による多言語文表現の学習
• Authors: Pengzhi Gao, Liwen Zhang, Zhongjun He, Hua Wu, Haifeng Wang
• Abstract要約: 220以上の言語をサポートする一対一の多言語文表現モデル MuSR を紹介する。 我々は、多言語NMTフレームワークを採用することで、補助的なTransformerデコーダと組み合わせた多言語トランスフォーマーエンコーダを訓練する。 多言語類似検索とbitextマイニングタスクの実験結果から,本手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 46.09132547431629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual sentence representations are the foundation for similarity-based bitext mining, which is crucial for scaling multilingual neural machine translation (NMT) system to more languages. In this paper, we introduce MuSR: a one-for-all Multilingual Sentence Representation model that supports more than 220 languages. Leveraging billions of English-centric parallel corpora, we train a multilingual Transformer encoder, coupled with an auxiliary Transformer decoder, by adopting a multilingual NMT framework with CrossConST, a cross-lingual consistency regularization technique proposed in Gao et al. (2023). Experimental results on multilingual similarity search and bitext mining tasks show the effectiveness of our approach. Specifically, MuSR achieves superior performance over LASER3 (Heffernan et al., 2022) which consists of 148 independent multilingual sentence encoders.
• Abstract（参考訳）: 多言語文表現は類似性に基づくbitextマイニングの基礎であり、多言語ニューラルマシン翻訳(NMT)システムをより多くの言語に拡張するために重要である。 本稿では,220以上の言語をサポートする一対一の多言語文表現モデル MuSR を紹介する。 数十億の英語中心の並列コーパスを活用することで、Gaoら(2023年)で提案された言語間整合正則化手法であるCrossConSTを用いた多言語NTTフレームワークを採用することで、補助的なTransformerデコーダと組み合わせた多言語トランスフォーマーエンコーダを訓練する。 多言語類似性探索とバイテキストマイニングタスクの実験結果から,本手法の有効性を示す。 具体的には、148個の独立した多言語文エンコーダからなるLASER3(Heffernan et al., 2022)よりも優れた性能を実現する。

関連論文リスト

• m3P: Towards Multimodal Multilingual Translation with Multimodal Prompt [39.2728779674405]
  マルチモーダル多言語ニューラルマシン翻訳(m3P)を導くためのマルチモーダルプロンプトを利用するフレームワークを提案する。 本手法は, 中心言語としてのイメージを考慮し, 異なる言語の表現距離を最小化することを目的とする。 実験の結果,m3Pは従来のテキストのみのベースラインや多言語マルチモーダルメソッドよりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-26T10:04:24Z)
• Towards Boosting Many-to-Many Multilingual Machine Translation with Large Language Models [47.39529535727593]
  本稿では,大言語モデル(LLM)の多言語多言語翻訳の高速化に焦点をあて,ゼロショット翻訳の方向を重視した。 言語間整合性規則化(XConST)を導入し、異なる言語間の表現ギャップを埋める。 ALMA, Tower, LLaMA-2による実験結果から, 本手法は翻訳性能を継続的に向上することが示された。
  論文  参考訳（メタデータ） (2024-01-11T12:11:30Z)
• Improved Cross-Lingual Transfer Learning For Automatic Speech Translation [18.97234151624098]
  エンコーダ-デコーダシーケンス-シーケンス変換モデルのエンコーダをSAMU-XLS-Rで初期化することにより,言語間タスクの知識伝達を大幅に改善することを示す。 提案手法の有効性を,CoVoST-2とEuroparlという2つの一般的なデータセットに示す。
  論文  参考訳（メタデータ） (2023-06-01T15:19:06Z)
• Towards the Next 1000 Languages in Multilingual Machine Translation: Exploring the Synergy Between Supervised and Self-Supervised Learning [48.15259834021655]
  数百の言語をカバーする多言語機械翻訳モデルを構築するための実践的なアプローチを提案する。 私たちは、異なる言語ペアのデータ可用性に応じて、教師付きと自己監督型の目的の混合を使用します。 この2つのトレーニングパラダイム間の相乗効果により、ゼロリソース設定で高品質な翻訳を生成できることを実証する。
  論文  参考訳（メタデータ） (2022-01-09T23:36:44Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)
• Knowledge Distillation for Multilingual Unsupervised Neural Machine Translation [61.88012735215636]
  unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。 UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。 本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
  論文  参考訳（メタデータ） (2020-04-21T17:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。