論文の概要: Improving Word Translation via Two-Stage Contrastive Learning

• arxiv url: http://arxiv.org/abs/2203.08307v4
• Date: Sat, 29 Jun 2024 23:11:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 18:47:18.450016
• Title: Improving Word Translation via Two-Stage Contrastive Learning
• Title（参考訳）: 2段階コントラスト学習による単語翻訳の改善
• Authors: Yaoyiran Li, Fangyu Liu, Nigel Collier, Anna Korhonen, Ivan Vulić,
• Abstract要約: BLIタスクのための頑健で効果的な2段階のコントラスト学習フレームワークを提案する。 多様な言語のための標準BLIデータセットに関する総合的な実験は、我々のフレームワークによって実現された大きな成果を示している。
• 参考スコア（独自算出の注目度）: 46.71404992627519
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Word translation or bilingual lexicon induction (BLI) is a key cross-lingual task, aiming to bridge the lexical gap between different languages. In this work, we propose a robust and effective two-stage contrastive learning framework for the BLI task. At Stage C1, we propose to refine standard cross-lingual linear maps between static word embeddings (WEs) via a contrastive learning objective; we also show how to integrate it into the self-learning procedure for even more refined cross-lingual maps. In Stage C2, we conduct BLI-oriented contrastive fine-tuning of mBERT, unlocking its word translation capability. We also show that static WEs induced from the `C2-tuned' mBERT complement static WEs from Stage C1. Comprehensive experiments on standard BLI datasets for diverse languages and different experimental setups demonstrate substantial gains achieved by our framework. While the BLI method from Stage C1 already yields substantial gains over all state-of-the-art BLI methods in our comparison, even stronger improvements are met with the full two-stage framework: e.g., we report gains for 112/112 BLI setups, spanning 28 language pairs.
• Abstract（参考訳）: 単語翻訳またはバイリンガル語彙誘導(BLI)は、異なる言語間の語彙的ギャップを埋めることを目的とした重要な言語間タスクである。 本研究では,BLIタスクのための頑健で効果的な2段階のコントラスト学習フレームワークを提案する。 ステージC1では,静的単語埋め込み(WEs)間の標準言語間線形写像を対照的な学習目的により改良することを提案する。 ステージC2では、BLI指向のmBERTのコントラスト微調整を行い、単語翻訳能力を解放する。 また, 'C2-tuned' mBERT から誘導される静的 WE がStage C1 から得られる静的 WE を補完することを示す。 多様な言語のための標準BLIデータセットと異なる実験環境に関する総合的な実験は、我々のフレームワークによって実現された大きな成果を示している。 今回の比較では,Stage C1のBLIメソッドは,すべての最先端のBLIメソッドに対して,すでに大幅に向上していますが,さらに強力な改善は,フル2ステージフレームワークで達成されています。

関連論文リスト

• Embracing Language Inclusivity and Diversity in CLIP through Continual Language Learning [58.92843729869586]
  視覚言語事前学習モデル (VL-PTMs) は近年、先進的なマルチモーダル研究を行っているが、英語のようないくつかの言語での習得は、より広いコミュニティにおける適用性を制限している。 我々は,連続言語学習(CLL)によってVL-PTMの言語能力を拡張することを提案する。 我々は,MSCOCOおよびXM3600データセットに基づく36言語をカバーするCLLベンチマークを構築し,多言語画像テキスト検索性能を評価する。
  論文  参考訳（メタデータ） (2024-01-30T17:14:05Z)
• On Bilingual Lexicon Induction with Large Language Models [81.6546357879259]
  本稿では,バイリンガル辞書開発における次世代大規模言語モデルの可能性について検討する。 本研究では,1) 教師なしBLIにおけるゼロショットプロンプトと,2) シード翻訳ペアの組による少数ショットインコンテキストプロンプトについて検討する。 私たちの研究は、テキストからテキストへのmLLMの強力なBLI機能を示す最初のものです。
  論文  参考訳（メタデータ） (2023-10-21T12:43:27Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Bag of Tricks for Effective Language Model Pretraining and Downstream Adaptation: A Case Study on GLUE [93.98660272309974]
  このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。 GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。 最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
  論文  参考訳（メタデータ） (2023-02-18T09:26:35Z)
• Multilingual Sentence Transformer as A Multilingual Word Aligner [15.689680887384847]
  多言語文 Transformer LaBSE が強い多言語単語アライメント器であるかどうかを検討する。 7つの言語対の実験結果から、最も優れたコーディネータは、すべての品種の過去の最先端モデルよりも優れていることが示された。 コーディネータは1つのモデルで異なる言語ペアをサポートし、ファインタニングプロセスに現れないゼロショット言語ペア上で新しい最先端の言語ペアを実現する。
  論文  参考訳（メタデータ） (2023-01-28T09:28:55Z)
• Improving Bilingual Lexicon Induction with Cross-Encoder Reranking [31.142790337451366]
  BLICEr (BLI with Cross-Encoder Re rank) と呼ばれる新しい半教師付きポストホックリグレード法を提案する。 鍵となる考え方は、mPLMから言語間の語彙的知識を抽出し、元のCLWEと組み合わせることである。 BLICErは、多様な言語にまたがる2つの標準BLIベンチマークで、新しい結果を確立している。
  論文  参考訳（メタデータ） (2022-10-30T21:26:07Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• Combining Static Word Embeddings and Contextual Representations for Bilingual Lexicon Induction [19.375597786174197]
  静的な単語埋め込みと文脈表現を組み合わせた,シンプルで効果的な機構を提案する。 教師付きおよび教師なしのBLIベンチマーク設定下で, 様々な言語ペア上で, 組み合わせのメカニズムを検証した。
  論文  参考訳（メタデータ） (2021-06-06T10:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。