論文の概要: Data Augmentation with Unsupervised Machine Translation Improves the Structural Similarity of Cross-lingual Word Embeddings

• arxiv url: http://arxiv.org/abs/2006.00262v3
• Date: Thu, 3 Jun 2021 07:00:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 17:59:51.028046
• Title: Data Augmentation with Unsupervised Machine Translation Improves the Structural Similarity of Cross-lingual Word Embeddings
• Title（参考訳）: 教師なし機械翻訳によるデータ拡張による言語間単語埋め込みの構造的類似性の改善
• Authors: Sosuke Nishikawa, Ryokan Ri and Yoshimasa Tsuruoka
• Abstract要約: 言語間単語埋め込み法は、2つの単言語埋め込み空間をマッピングする線形変換行列を学習する。 我々は、教師なし機械翻訳モデルによって生成された擬似並列コーパスを用いることで、2つの埋め込み空間の構造的類似性が促進されると主張している。
• 参考スコア（独自算出の注目度）: 29.467158098595924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised cross-lingual word embedding (CLWE) methods learn a linear transformation matrix that maps two monolingual embedding spaces that are separately trained with monolingual corpora. This method relies on the assumption that the two embedding spaces are structurally similar, which does not necessarily hold true in general. In this paper, we argue that using a pseudo-parallel corpus generated by an unsupervised machine translation model facilitates the structural similarity of the two embedding spaces and improves the quality of CLWEs in the unsupervised mapping method. We show that our approach outperforms other alternative approaches given the same amount of data, and, through detailed analysis, we show that data augmentation with the pseudo data from unsupervised machine translation is especially effective for mapping-based CLWEs because (1) the pseudo data makes the source and target corpora (partially) parallel; (2) the pseudo data contains information on the original language that helps to learn similar embedding spaces between the source and target languages.
• Abstract（参考訳）: 非教師付き言語間単語埋め込み(CLWE)法は、単言語コーパスで個別に訓練された2つの単言語埋め込み空間をマッピングする線形変換行列を学習する。 この方法は、2つの埋め込み空間が構造的に類似しているという仮定に依存しており、必ずしも一般には成り立たない。 本稿では,教師なし機械翻訳モデルによって生成された擬似並列コーパスを用いることで,二つの埋め込み空間の構造的類似性が向上し,教師なし写像法におけるclwesの品質が向上すると主張する。 We show that our approach outperforms other alternative approaches given the same amount of data, and, through detailed analysis, we show that data augmentation with the pseudo data from unsupervised machine translation is especially effective for mapping-based CLWEs because (1) the pseudo data makes the source and target corpora (partially) parallel; (2) the pseudo data contains information on the original language that helps to learn similar embedding spaces between the source and target languages.

関連論文リスト

• How Transliterations Improve Crosslingual Alignment [48.929677368744606]
  近年の研究では、アライメント目的を用いた多言語事前学習言語モデル(mPLM)が言語横断アライメントを改善することが示されている。 本稿では, 言語間のアライメントを明示的に評価し, 翻訳に基づくアプローチにおける重要な要素を同定し, 性能向上に寄与する。
  論文  参考訳（メタデータ） (2024-09-25T20:05:45Z)
• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• Mitigating Data Imbalance and Representation Degeneration in Multilingual Machine Translation [103.90963418039473]
  Bi-ACLは、MNMTモデルの性能を向上させるために、ターゲット側モノリンガルデータとバイリンガル辞書のみを使用するフレームワークである。 Bi-ACLは、長い尾の言語でも、高リソースの言語でも、より効果的であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T07:31:08Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation [49.916963624249355]
  UNMTモデルは、翻訳されたソースと推論中の自然言語で擬似並列データに基づいて訓練される。 トレーニングと推論のソース差はUNMTモデルの翻訳性能を妨げている。 本稿では、擬似並列データ自然言語を同時に用いたオンライン自己学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T04:50:27Z)
• On the Language Coverage Bias for Neural Machine Translation [81.81456880770762]
  言語カバレッジバイアスは、ニューラルネットワーク翻訳(NMT)において重要である。 実験を慎重に設計することにより、トレーニングデータにおける言語カバレッジバイアスの包括的分析を行う。 本稿では,言語カバレッジバイアス問題を軽減するための,シンプルで効果的な2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-07T01:55:34Z)
• Filtered Inner Product Projection for Crosslingual Embedding Alignment [28.72288652451881]
  フィルタ内積投影(FIPP)は、埋め込みを共通表現空間にマッピングする手法である。 FIPPは、ソースとターゲットの埋め込みが異なる次元である場合でも適用可能である。 提案手法は,MUSEデータセット上の既存の手法よりも,様々な言語ペアに対して優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-05T19:53:30Z)
• LNMap: Departures from Isomorphic Assumption in Bilingual Lexicon Induction Through Non-Linear Mapping in Latent Space [17.49073364781107]
  バイリンガル語彙誘導のための言語間単語埋め込み学習のための新しい半教師付き手法を提案する。 我々のモデルは同型仮定とは独立であり、2つの独立に訓練されたオートエンコーダの潜在空間における非線形写像を用いる。
  論文  参考訳（メタデータ） (2020-04-28T23:28:26Z)
• Refinement of Unsupervised Cross-Lingual Word Embeddings [2.4366811507669124]
  言語間の単語埋め込みは、高リソース言語と低リソース言語のギャップを埋めることを目的としています。 教師なしバイリンガル単語埋め込みのアライメントを改良する自己教師付き手法を提案する。
  論文  参考訳（メタデータ） (2020-02-21T10:39:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。