論文の概要: A Systematic Analysis of Subwords and Cross-Lingual Transfer in Multilingual Translation

• arxiv url: http://arxiv.org/abs/2403.20157v1
• Date: Fri, 29 Mar 2024 13:09:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 15:44:18.812042
• Title: A Systematic Analysis of Subwords and Cross-Lingual Transfer in Multilingual Translation
• Title（参考訳）: 多言語翻訳におけるサブワードの体系的解析と言語間移動
• Authors: Francois Meyer, Jan Buys,
• Abstract要約: サブワード規則化は多言語モデリングのシナジーを高めるが、BPEはより効果的に言語間微調整の移行を促進する。 本研究は,サブワードモデリングに関する決定が,多言語モデリングの利点を最適化するための鍵となることを確認した。
• 参考スコア（独自算出の注目度）: 8.30255326875704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual modelling can improve machine translation for low-resource languages, partly through shared subword representations. This paper studies the role of subword segmentation in cross-lingual transfer. We systematically compare the efficacy of several subword methods in promoting synergy and preventing interference across different linguistic typologies. Our findings show that subword regularisation boosts synergy in multilingual modelling, whereas BPE more effectively facilitates transfer during cross-lingual fine-tuning. Notably, our results suggest that differences in orthographic word boundary conventions (the morphological granularity of written words) may impede cross-lingual transfer more significantly than linguistic unrelatedness. Our study confirms that decisions around subword modelling can be key to optimising the benefits of multilingual modelling.
• Abstract（参考訳）: マルチ言語モデリングは、部分的には共有サブワード表現によって、低リソース言語のための機械翻訳を改善することができる。 本稿では,言語間移動におけるサブワードセグメンテーションの役割について検討する。 シナジーの促進と異なる言語型間の干渉を防止するために,いくつかのサブワード法の有効性を体系的に比較した。 以上の結果から,サブワード規則化は多言語モデルにおける相乗効果を高めるが,BPEは多言語間微調整においてより効果的に伝達を促進することが示唆された。 本研究の結果から, 言語的非関連性よりも, 言語間移動が著しく阻害されることが示唆された。 本研究は,サブワードモデリングに関する決定が,多言語モデリングの利点を最適化するための鍵となることを確認した。

関連論文リスト

• Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer? [50.48082721476612]
  マルチリンガルBERT (mBERT) は, 言語間シンタクティックな機能を示した。 我々は,mBERTから引き起こされる文法的関係の分布を,24言語に類型的に異なる文脈で検討した。
  論文  参考訳（メタデータ） (2022-12-21T09:44:08Z)
• A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning [6.329304732560936]
  既存のゼロショットのクロスリンガル転送法は、並列コーパスやバイリンガル辞書に依存している。 意味喪失のない仮想多言語埋め込みに英語の埋め込みを移すための埋め込み・プッシュ・アテンション・プル・ロバスト・ターゲットを提案する。
  論文  参考訳（メタデータ） (2022-10-18T15:36:53Z)
• Investigating the Impact of Cross-lingual Acoustic-Phonetic Similarities on Multilingual Speech Recognition [31.575930914290762]
  言語間音響-音声の類似性を調べるために, 新たなデータ駆動手法を提案する。 ディープニューラルネットワークは、異なる音響モデルからの分布を直接的に同等の形式に変換するためのマッピングネットワークとして訓練されている。 モノリンガルに比べて8%の相対的な改善が達成されている。
  論文  参考訳（メタデータ） (2022-07-07T15:55:41Z)
• When is BERT Multilingual? Isolating Crucial Ingredients for Cross-lingual Transfer [15.578267998149743]
  サブワード重複の欠如は,言語が単語順に異なる場合,ゼロショット転送に大きく影響することを示す。 言語間の伝達性能と単語埋め込みアライメントの間には強い相関関係がある。 その結果、言語間の単語埋め込みアライメントを明示的に改善する多言語モデルに焦点が当てられた。
  論文  参考訳（メタデータ） (2021-10-27T21:25:39Z)
• An Isotropy Analysis in the Multilingual BERT Embedding Space [18.490856440975996]
  BERTの多言語文脈表現(CWR)における表現劣化問題について検討する。 その結果,多言語埋め込み空間の等方性の向上は,表現力や性能を著しく向上させることが示唆された。 分析の結果, 生成方向は言語によって異なるが, 類似した言語知識を符号化し, 言語間の共通言語空間を示唆している。
  論文  参考訳（メタデータ） (2021-10-09T08:29:49Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Adaptive Sparse Transformer for Multilingual Translation [18.017674093519332]
  多言語モデルの既知の課題は、否定的な言語干渉です。 多言語モデリングのための適応的でスパースなアーキテクチャを提案する。 我々のモデルは、推論コストを増加させることなく、翻訳品質の点で強力なベースラインを上回る。
  論文  参考訳（メタデータ） (2021-04-15T10:31:07Z)
• On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment [59.995385574274785]
  従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。 メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
  論文  参考訳（メタデータ） (2020-10-06T20:48:58Z)
• Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
  多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。 我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:34:37Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• Robust Cross-lingual Embeddings from Parallel Sentences [65.85468628136927]
  本稿では,文整合コーパスを利用して頑健な言語間単語表現を実現するCBOW手法のバイリンガル拡張を提案する。 提案手法は,他のすべての手法と比較して,言語間文検索性能を著しく向上させる。 また、ゼロショットのクロスランガル文書分類タスクにおいて、ディープRNN法と同等性を実現する。
  論文  参考訳（メタデータ） (2019-12-28T16:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。