論文の概要: Enhancing Cross-lingual Sentence Embedding for Low-resource Languages with Word Alignment

• arxiv url: http://arxiv.org/abs/2404.02490v1
• Date: Wed, 3 Apr 2024 05:58:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 18:19:59.210576
• Title: Enhancing Cross-lingual Sentence Embedding for Low-resource Languages with Word Alignment
• Title（参考訳）: 単語アライメントによる低リソース言語に対する言語間文埋め込みの強化
• Authors: Zhongtao Miao, Qiyu Wu, Kaiyan Zhao, Zilong Wu, Yoshimasa Tsuruoka,
• Abstract要約: 低リソース言語における言語間単語表現は、特に現在のモデルにおける高リソース言語における単語表現と一致していない。 そこで本研究では,既製の単語アライメントモデルを用いて,英語と低リソース言語8言語間の単語アライメントを明確にする新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 13.997006139875563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of cross-lingual sentence embeddings has recently experienced significant advancements, but research concerning low-resource languages has lagged due to the scarcity of parallel corpora. This paper shows that cross-lingual word representation in low-resource languages is notably under-aligned with that in high-resource languages in current models. To address this, we introduce a novel framework that explicitly aligns words between English and eight low-resource languages, utilizing off-the-shelf word alignment models. This framework incorporates three primary training objectives: aligned word prediction and word translation ranking, along with the widely used translation ranking. We evaluate our approach through experiments on the bitext retrieval task, which demonstrate substantial improvements on sentence embeddings in low-resource languages. In addition, the competitive performance of the proposed model across a broader range of tasks in high-resource languages underscores its practicality.
• Abstract（参考訳）: 言語間文埋め込みの分野は近年顕著な進歩を遂げているが, 並列コーパスの不足により, 低リソース言語に関する研究が遅れている。 本稿は、低リソース言語における言語間単語表現が、現在のモデルにおける高リソース言語における単語表現と相容れないことを示す。 そこで本研究では,既製の単語アライメントモデルを用いて,英語と8つの低リソース言語の間で単語を明示的にアライメントする新しいフレームワークを提案する。 このフレームワークには、単語予測と単語翻訳ランキングの3つの主要なトレーニング目標と、広く使用されている翻訳ランキングが含まれている。 我々は、低リソース言語における文の埋め込みを大幅に改善するbitext検索タスクの実験を通して、我々のアプローチを評価する。 さらに,高性能言語における幅広いタスクにまたがる提案モデルの競争性能は,その実用性を示している。

関連論文リスト

• The Zeno's Paradox of `Low-Resource' Languages [20.559416975723142]
  いくつかの相互作用する軸が、言語の低リソース化にどのように寄与するかを示す。 私たちの研究は、論文で使われている用語の明確な定義を導き出すことを願っています。
  論文  参考訳（メタデータ） (2024-10-28T08:05:34Z)
• MINERS: Multilingual Language Models as Semantic Retrievers [23.686762008696547]
  本稿では,意味検索タスクにおける多言語言語モデルの有効性を評価するためのベンチマークであるMINERSを紹介する。 我々は,200以上の多言語にわたるサンプルの検索において,LMの堅牢性を評価する包括的なフレームワークを構築した。 以上の結果から,意味論的に類似した埋め込みを検索することで,最先端のアプローチと競合する性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-06-11T16:26:18Z)
• Zero-shot Sentiment Analysis in Low-Resource Languages Using a Multilingual Sentiment Lexicon [78.12363425794214]
  私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。 文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-03T10:41:05Z)
• MoSECroT: Model Stitching with Static Word Embeddings for Crosslingual Zero-shot Transfer [50.40191599304911]
  クロスリンガルゼロショット転送のための静的単語埋め込みを用いたMoSECroTモデルスティッチについて紹介する。 本稿では,ソースコードPLMの埋め込みと対象言語の静的単語埋め込みのための共通空間を構築するために,相対表現を利用した最初のフレームワークを提案する。 提案するフレームワークは,MoSECroTに対処する際,弱いベースラインと競合するが,強いベースラインに比べて競合する結果が得られないことを示す。
  論文  参考訳（メタデータ） (2024-01-09T21:09:07Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• Cross-Lingual Word Embeddings for Turkic Languages [1.418033127602866]
  言語間の単語埋め込みは、リソース豊富な言語から低リソース言語に知識を移すことができる。 トルコ語、ウズベク語、アゼリ語、カザフ語、キルギス語に言語間単語を埋め込む方法を示す。
  論文  参考訳（メタデータ） (2020-05-17T18:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。