論文の概要: LowREm: A Repository of Word Embeddings for 87 Low-Resource Languages Enhanced with Multilingual Graph Knowledge

• arxiv url: http://arxiv.org/abs/2409.18193v1
• Date: Thu, 26 Sep 2024 18:10:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 15:31:30.981796
• Title: LowREm: A Repository of Word Embeddings for 87 Low-Resource Languages Enhanced with Multilingual Graph Knowledge
• Title（参考訳）: LowREm:多言語グラフの知識で強化された87の低リソース言語のための単語埋め込みのリポジトリ
• Authors: Daniil Gurgurov, Rishu Kumar, Simon Ostermann,
• Abstract要約: 87の低リソース言語に対する静的な埋め込みのリポジトリであるLowREmを紹介します。 また,多言語グラフ知識を統合することで,GloVeベースの埋め込みを強化する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 0.6317163123651698
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contextualized embeddings based on large language models (LLMs) are available for various languages, but their coverage is often limited for lower resourced languages. Training LLMs for such languages is often difficult due to insufficient data and high computational cost. Especially for very low resource languages, static word embeddings thus still offer a viable alternative. There is, however, a notable lack of comprehensive repositories with such embeddings for diverse languages. To address this, we present LowREm, a centralized repository of static embeddings for 87 low-resource languages. We also propose a novel method to enhance GloVe-based embeddings by integrating multilingual graph knowledge, utilizing another source of knowledge. We demonstrate the superior performance of our enhanced embeddings as compared to contextualized embeddings extracted from XLM-R on sentiment analysis. Our code and data are publicly available under https://huggingface.co/DFKI.
• Abstract（参考訳）: 大規模言語モデル(LLM)に基づくコンテキスト適応型埋め込みは様々な言語で利用可能であるが、その範囲は低リソース言語に限られることが多い。 このような言語に対するLLMの訓練は、不十分なデータと高い計算コストのため、しばしば困難である。 特にリソースの少ない言語では、静的な単語の埋め込みが依然として有効な代替手段である。 しかし、様々な言語にそのような埋め込みを組み込んだ包括的なリポジトリが欠如している。 これに対処するため、87の低リソース言語のための静的埋め込みの集中リポジトリであるLowREmを紹介した。 また,GloVeをベースとした埋め込みを多言語グラフ知識に統合し,新たな知識源を活用する手法を提案する。 感情分析において,XLM-Rから抽出した文脈的埋め込みと比較して,拡張埋め込みの優れた性能を示す。 私たちのコードとデータはhttps://huggingface.co/DFKI.comで公開されています。

関連論文リスト

• UnifiedCrawl: Aggregated Common Crawl for Affordable Adaptation of LLMs on Low-Resource Languages [2.66269503676104]
  大規模言語モデル(LLM)は低リソース言語での性能が低い。 低リソース言語のためのテキストデータを効率的に収集する手法を提案する。 我々のアプローチであるUnifiedCrawlは、最小限の計算リソースを使用して共通のクローをフィルタし、抽出する。
  論文  参考訳（メタデータ） (2024-11-21T17:41:08Z)
• High-quality Data-to-Text Generation for Severely Under-Resourced Languages with Out-of-the-box Large Language Models [5.632410663467911]
  我々は、事前訓練された大規模言語モデル(LLM)が、アンダーリソース言語のパフォーマンスギャップを埋める可能性について検討する。 LLM は,低リソース言語における技術の現状を,かなりのマージンで容易に設定できることがわかった。 全ての言語について、人間の評価は最高のシステムで人間と同等のパフォーマンスを示すが、BLEUのスコアは英語に比べて崩壊する。
  論文  参考訳（メタデータ） (2024-02-19T16:29:40Z)
• Zero-shot Sentiment Analysis in Low-Resource Languages Using a Multilingual Sentiment Lexicon [78.12363425794214]
  私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。 文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-03T10:41:05Z)
• GlotLID: Language Identification for Low-Resource Languages [51.38634652914054]
  GlotLID-M は広い範囲、信頼性、効率性のデシラタを満たす LID モデルである。 1665の言語を識別し、以前の作業に比べてカバー範囲が大幅に増加した。
  論文  参考訳（メタデータ） (2023-10-24T23:45:57Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• Transfer to a Low-Resource Language via Close Relatives: The Case Study on Faroese [54.00582760714034]
  言語間のNLP転送は、高ソース言語のデータとモデルを活用することで改善できる。 我々は、名前付きエンティティ認識(NER)、セマンティックテキスト類似性(STS)、スカンジナビア全言語で訓練された新しい言語モデルのためのFaroeseデータセットとFaroeseデータセットの新しいWebコーパスをリリースする。
  論文  参考訳（メタデータ） (2023-04-18T08:42:38Z)
• When Word Embeddings Become Endangered [0.685316573653194]
  本稿では,異なる資源豊富な言語の単語埋め込みとリソース不足言語の翻訳辞書を用いて,絶滅危惧言語の単語埋め込みを構築する手法を提案する。 言語間の単語埋め込みと感情分析モデルはすべて、簡単に使えるPythonライブラリを通じて公開されています。
  論文  参考訳（メタデータ） (2021-03-24T15:42:53Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。