論文の概要: AfriVEC: Word Embedding Models for African Languages. Case Study of Fon and Nobiin

• arxiv url: http://arxiv.org/abs/2103.05132v1
• Date: Mon, 8 Mar 2021 22:58:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-11 06:05:50.492490
• Title: AfriVEC: Word Embedding Models for African Languages. Case Study of Fon and Nobiin
• Title（参考訳）: AfriVEC: アフリカ語のための単語埋め込みモデル。 Fon と Nobiin のケーススタディ
• Authors: Bonaventure F. P. Dossou and Mohammed Sabry
• Abstract要約: FonとNobiin用のWord2VecとPoincarのワード埋め込みモデルを構築します。 私たちの主な貢献は、アフリカの言語に適した単語埋め込みモデルを作成することへの関心を高めることです。
• 参考スコア（独自算出の注目度）: 0.015863809575305417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: From Word2Vec to GloVe, word embedding models have played key roles in the current state-of-the-art results achieved in Natural Language Processing. Designed to give significant and unique vectorized representations of words and entities, those models have proven to efficiently extract similarities and establish relationships reflecting semantic and contextual meaning among words and entities. African Languages, representing more than 31% of the worldwide spoken languages, have recently been subject to lots of research. However, to the best of our knowledge, there are currently very few to none word embedding models for those languages words and entities, and none for the languages under study in this paper. After describing Glove, Word2Vec, and Poincar\'e embeddings functionalities, we build Word2Vec and Poincar\'e word embedding models for Fon and Nobiin, which show promising results. We test the applicability of transfer learning between these models as a landmark for African Languages to jointly involve in mitigating the scarcity of their resources, and attempt to provide linguistic and social interpretations of our results. Our main contribution is to arouse more interest in creating word embedding models proper to African Languages, ready for use, and that can significantly improve the performances of Natural Language Processing downstream tasks on them. The official repository and implementation is at https://github.com/bonaventuredossou/afrivec
• Abstract（参考訳）: Word2VecからGloVeまで、単語埋め込みモデルは、自然言語処理で達成された最新の結果において重要な役割を果たしています。 単語と実体の有意かつユニークなベクトル化表現を与えるために設計されたこれらのモデルは、効率的に類似性を抽出し、単語と実体間の意味的および文脈的意味を反映した関係を確立することが証明されている。 アフリカ諸言語は世界の話し言葉の31%以上を占めており、近年多くの研究の対象となっている。 しかしながら、私たちの知る限りでは、これらの言語に対する単語埋め込みモデルはほとんど存在せず、本論文では研究中の言語については存在していない。 Glove, Word2Vec, Poincar\'e の埋め込み機能を説明した後、Fon と Nobiin 用の Word2Vec と Poincar\'e ワード埋め込みモデルを構築し、有望な結果を示す。 アフリカ言語が資源不足の緩和に協力するランドマークとして、これらのモデル間の移動学習の適用可能性をテストし、その結果の言語的および社会的解釈を提供することを試みる。 私たちの主な貢献は、アフリカン言語に適した単語埋め込みモデルの作成に関心を喚起し、使用の準備ができ、自然言語処理の下流タスクのパフォーマンスを大幅に改善できることです。 公式リポジトリと実装はhttps://github.com/bonaventuredossou/afrivec

関連論文リスト

• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages [3.716965622352967]
  サブワードトークン化器で観測される語彙表現と語彙重複の質を評価するための新しい基準を提案する。 以上の結果から,言語間の語彙の重複は,特定の下流課題に支障を来す可能性があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-26T18:06:49Z)
• AfroLM: A Self-Active Learning-based Multilingual Pretrained Language Model for 23 African Languages [0.021987601456703476]
  AfroLMは、23のアフリカ語でスクラッチから事前訓練された多言語言語モデルである。 AfroLMは、既存のベースラインよりも小さいデータセット14xで事前訓練される。 様々な領域にまたがってうまく一般化することができる。
  論文  参考訳（メタデータ） (2022-11-07T02:15:25Z)
• MasakhaNER 2.0: Africa-centric Transfer Learning for Named Entity Recognition [55.95128479289923]
  アフリカ系言語は10億人を超える人々によって話されているが、NLPの研究や開発ではあまり語られていない。 我々は、20のアフリカ言語で最大の人間アノテーション付きNERデータセットを作成します。 最適な転送言語を選択すると、ゼロショットF1スコアが平均14ポイント向上することを示す。
  論文  参考訳（メタデータ） (2022-10-22T08:53:14Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Low-Resource Language Modelling of South African Languages [6.805575417034369]
  南アフリカの低資源言語におけるボカブラリ言語モデルの性能を評価する。 本研究では,n-gramモデル,feedforwardニューラルネットワーク,recurrent neural network (rnn),transformerの異種を小規模データセット上で評価する。 全体的に、よく規則化されたRNNは、2つのisiZuluと1つのSepediデータセットで最高のパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2021-04-01T21:27:27Z)
• OkwuGb\'e: End-to-End Speech Recognition for Fon and Igbo [0.015863809575305417]
  本稿では,Fon の最先端 ASR モデルと Igbo のベンチマーク ASR モデルについて述べる。 本稿では,各言語の包括的言語分析を行い,両言語間のエンドツーエンド,ディープニューラルネットワークに基づく音声認識モデルの作成について述べる。
  論文  参考訳（メタデータ） (2021-03-13T18:02:44Z)
• Revisiting Language Encoding in Learning Multilingual Representations [70.01772581545103]
  言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。 XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。 実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
  論文  参考訳（メタデータ） (2021-02-16T18:47:10Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。