論文の概要: On Evaluation of Bangla Word Analogies

• arxiv url: http://arxiv.org/abs/2304.04613v1
• Date: Mon, 10 Apr 2023 14:27:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 14:39:45.405118
• Title: On Evaluation of Bangla Word Analogies
• Title（参考訳）: バングラ語アナロジーの評価について
• Authors: Mousumi Akter, Souvika Sarkar, Shubhra Kanti Karmaker (Santu)
• Abstract要約: 本稿では,Bangla単語の埋め込み品質を評価するための高品質なデータセットを提案する。 世界で7番目に普及した言語であるにもかかわらず、Banglaは低リソース言語であり、人気のあるNLPモデルはうまく機能しない。
• 参考スコア（独自算出の注目度）: 0.8658596218544772
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper presents a high-quality dataset for evaluating the quality of Bangla word embeddings, which is a fundamental task in the field of Natural Language Processing (NLP). Despite being the 7th most-spoken language in the world, Bangla is a low-resource language and popular NLP models fail to perform well. Developing a reliable evaluation test set for Bangla word embeddings are crucial for benchmarking and guiding future research. We provide a Mikolov-style word analogy evaluation set specifically for Bangla, with a sample size of 16678, as well as a translated and curated version of the Mikolov dataset, which contains 10594 samples for cross-lingual research. Our experiments with different state-of-the-art embedding models reveal that Bangla has its own unique characteristics, and current embeddings for Bangla still struggle to achieve high accuracy on both datasets. We suggest that future research should focus on training models with larger datasets and considering the unique morphological characteristics of Bangla. This study represents the first step towards building a reliable NLP system for the Bangla language1.
• Abstract（参考訳）: 本稿では,自然言語処理(NLP)分野の基本課題である,Bangla単語の埋め込み品質を評価するための高品質なデータセットを提案する。 世界で7番目に普及した言語であるにもかかわらず、Banglaは低リソース言語であり、人気のあるNLPモデルはうまく機能しない。 Bangla単語の埋め込みに対する信頼性評価テストセットの開発は、将来の研究のベンチマークと指導に不可欠である。 言語横断研究のための10594のサンプルを含むmikolovデータセットの翻訳版およびキュレーション版と同様に,バングラ専用のmikolovスタイルの単語アナロジー評価セットを16678のサンプルサイズで提供する。 さまざまな最先端の埋め込みモデルによる実験では、Banglaには独自の特徴があり、現在のBanglaの埋め込みは両方のデータセットで高い精度を達成するのに苦戦している。 今後の研究は、より大きなデータセットを持つモデルに焦点をあて、バングラのユニークな形態的特徴を考慮すべきである。 本研究は,Bangla言語1のための信頼性NLPシステム構築に向けた第一歩である。

関連論文リスト

• A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus [71.77214818319054]
  自然言語推論は自然言語理解のプロキシである。 ルーマニア語のNLIコーパスは公開されていない。 58Kの訓練文対からなるルーマニア初のNLIコーパス(RoNLI)を紹介する。
  論文  参考訳（メタデータ） (2024-05-20T08:41:15Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• BanglaNLP at BLP-2023 Task 2: Benchmarking different Transformer Models for Sentiment Analysis of Bangla Social Media Posts [0.46040036610482665]
  本稿では,BLPワークショップ第2タスク(Bangla Social Media Posts の感性分析)について紹介する。 我々の定量的結果は、トランスファーラーニングが、この低リソース言語シナリオにおけるモデルのより優れた学習に役立つことを示している。 テストセットで67.02%のマイクロF1を取得し、この共有タスクのパフォーマンスをリーダーボードで21にランク付けする。
  論文  参考訳（メタデータ） (2023-10-13T16:46:38Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• BanglaParaphrase: A High-Quality Bangla Paraphrase Dataset [3.922582192616519]
  そこで我々は,新しいフィルタパイプラインによって構築された高品質なBangla ParaphraseデータセットであるBanglaParaphraseを提案する。 我々は,BanglaParaphraseの導入を通じて,NLPドメインにおけるBangla言語の低リソース状態を軽減するための一歩を踏み出したい。
  論文  参考訳（メタデータ） (2022-10-11T02:52:31Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)
• End-to-End Natural Language Understanding Pipeline for Bangla Conversational Agents [0.43012765978447565]
  本稿では,バングラ語とバングラ語でコミュニケーション可能なビジネスアシスタントを構築するための新しい手法を提案する。 Rasa Open Source Framework、fastText組み込み、Polyglot組み込み、Fraskなどのシステムをビルディングブロックとして使用しています。 本稿では,意図分類と実体抽出のためのパイプラインを提案する。
  論文  参考訳（メタデータ） (2021-07-12T16:09:22Z)
• A Review of Bangla Natural Language Processing Tasks and the Utility of Transformer Models [2.5768647103950357]
  研究コミュニティで利用可能なBangla NLPタスク、リソース、ツールについてレビューする。 我々は、現在最先端のアルゴリズムを用いて、9つのNLPタスクのために、さまざまなプラットフォームから収集されたデータセットをベンチマークした。 個人と統合されたデータセットを用いてその結果を報告し、今後の研究のためのデータを提供する。
  論文  参考訳（メタデータ） (2021-07-08T13:49:46Z)
• BanglaBERT: Combating Embedding Barrier for Low-Resource Language Understanding [1.7000879291900044]
  私たちはバングラ自然言語理解モデルを構築し、インターネット上のトップバングラのサイトから収集した18.6gbのデータに基づいてトレーニングした。 本モデルは,多言語ベースラインを上回り,前回の結果を1～6%上回った。 我々は、記述スクリプトを高リソースと共有しない低リソース言語のパフォーマンスを損なう多言語モデルの主な欠点を特定します。
  論文  参考訳（メタデータ） (2021-01-01T09:28:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。