論文の概要: Co-occurrences using Fasttext embeddings for word similarity tasks in Urdu

• arxiv url: http://arxiv.org/abs/2102.10957v1
• Date: Mon, 22 Feb 2021 12:56:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-24 05:45:10.100047
• Title: Co-occurrences using Fasttext embeddings for word similarity tasks in Urdu
• Title（参考訳）: 単語類似性タスクのためのFasttext Embeddingsを用いたUrduの共起
• Authors: Usama Khalid, Aizaz Hussain, Muhammad Umair Arshad, Waseem Shahzad and Mirza Omer Beg
• Abstract要約: 本稿では,Urduのコーパスを構築し,複数のソースからデータを抽出・統合する。 fasttext埋め込みとN-Gramsモデルを変更して、構築されたコーパスでトレーニングできるようにします。 これらのトレーニング済み埋め込みを単語の類似性タスクに使用し、その結果を既存の技術と比較しました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Urdu is a widely spoken language in South Asia. Though immoderate literature exists for the Urdu language still the data isn't enough to naturally process the language by NLP techniques. Very efficient language models exist for the English language, a high resource language, but Urdu and other under-resourced languages have been neglected for a long time. To create efficient language models for these languages we must have good word embedding models. For Urdu, we can only find word embeddings trained and developed using the skip-gram model. In this paper, we have built a corpus for Urdu by scraping and integrating data from various sources and compiled a vocabulary for the Urdu language. We also modify fasttext embeddings and N-Grams models to enable training them on our built corpus. We have used these trained embeddings for a word similarity task and compared the results with existing techniques.
• Abstract（参考訳）: ウルドゥ語は南アジアで広く話されている言語である。 ウルドゥー語には不変の文献が存在するが、NLP技術によって言語を自然に処理するのに十分なデータはない。 高資源言語である英語には、非常に効率的な言語モデルが存在するが、ウルドゥー語や他の非資源言語は長い間無視されてきた。 これらの言語の効率的な言語モデルを作成するには、優れた単語埋め込みモデルが必要です。 Urduでは、スキップグラムモデルを用いて訓練され開発されている単語埋め込みしか見つからない。 本稿では,様々な情報源からデータを抽出・統合し,ウルドゥー語の語彙をコンパイルすることで,ウルドゥー語のコーパスを構築した。 また、Fasttext埋め込みとN-Gramsモデルを変更して、構築されたコーパスでトレーニングできるようにします。 これらのトレーニング済み埋め込みを単語の類似性タスクに使用し、その結果を既存の技術と比較しました。

関連論文リスト

• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Urdu Morphology, Orthography and Lexicon Extraction [0.0]
  本稿では,Urdu言語の実装をソフトウェアAPIとして記述する。 我々は、正書法、形態学、辞書の抽出を扱う。
  論文  参考訳（メタデータ） (2022-04-06T20:14:01Z)
• Multilingual Text Classification for Dravidian Languages [4.264592074410622]
  そこで我々はDravidian言語のための多言語テキスト分類フレームワークを提案する。 一方、フレームワークはLaBSE事前訓練モデルをベースモデルとして使用した。 一方,モデルが言語間の相関を十分に認識・活用できないという問題を考慮し,さらに言語固有の表現モジュールを提案する。
  論文  参考訳（メタデータ） (2021-12-03T04:26:49Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)
• Bilingual Language Modeling, A transfer learning technique for Roman Urdu [0.0]
  言語のコードスイッチングプロパティが、対応する高リソース言語からのクロス言語転送学習にどのように使用されるかを示す。 また、このトランスファー学習技術であるバイリンガル言語モデリングを用いて、ロマン・ウルドゥのより良いパフォーマンスモデルを作成する方法を示す。
  論文  参考訳（メタデータ） (2021-02-22T12:56:37Z)
• HinFlair: pre-trained contextual string embeddings for pos tagging and text classification in the Hindi language [0.0]
  HinFlairは、巨大な単言語Hindiコーパスで事前訓練された言語表現モデル(コンテキスト文字列埋め込み)である。 結果は、HinFlairが、テキスト分類やposタグ付けといった下流タスクのために、既存の最先端の公開トレーニング済みの埋め込みよりも優れていることを示している。
  論文  参考訳（メタデータ） (2021-01-18T09:23:35Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Efficient Urdu Caption Generation using Attention based LSTM [0.0]
  ウルドゥー語はパキスタンの国語であり、パキスタン・インド亜大陸地域で話され、理解されている。 我々は、ウルドゥー語に特化したシーケンスモデリング技術を用いて、注意に基づくディープラーニングモデルを開発する。 提案手法をこのデータセット上で評価し,ウルドゥー語のBLEUスコア0.83を達成可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-02T17:22:33Z)
• Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation [73.65237422910738]
  既存の文埋め込みモデルを新しい言語に拡張する,簡単かつ効率的な手法を提案する。 これにより、以前のモノリンガルモデルから多言語バージョンを作成することができる。
  論文  参考訳（メタデータ） (2020-04-21T08:20:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。