論文の概要: L3Cube-MahaSocialNER: A Social Media based Marathi NER Dataset and BERT models

• arxiv url: http://arxiv.org/abs/2401.00170v1
• Date: Sat, 30 Dec 2023 08:30:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 18:29:42.026291
• Title: L3Cube-MahaSocialNER: A Social Media based Marathi NER Dataset and BERT models
• Title（参考訳）: L3Cube-MahaSocialNER:ソーシャルメディアベースのMarathi NERデータセットとBERTモデル
• Authors: Harsh Chaudhari, Anuja Patil, Dhanashree Lavekar, Pranav Khairnar, Raviraj Joshi
• Abstract要約: L3Cube-MahaSocialNERデータセットは、Marathi言語で名前付きエンティティ認識(NER)用に特別に設計された、最初の、かつ最大のソーシャルメディアデータセットである。 データセットは、8つのエンティティクラスをカバーする18,000のマニュアルラベル付き文で構成されている。 CNN、LSTM、BiLSTM、Transformerモデルを含むディープラーニングモデルは、IOBおよび非IOB表記を用いて個々のデータセットで評価される。
• 参考スコア（独自算出の注目度）: 1.8624310307965966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work introduces the L3Cube-MahaSocialNER dataset, the first and largest social media dataset specifically designed for Named Entity Recognition (NER) in the Marathi language. The dataset comprises 18,000 manually labeled sentences covering eight entity classes, addressing challenges posed by social media data, including non-standard language and informal idioms. Deep learning models, including CNN, LSTM, BiLSTM, and Transformer models, are evaluated on the individual dataset with IOB and non-IOB notations. The results demonstrate the effectiveness of these models in accurately recognizing named entities in Marathi informal text. The L3Cube-MahaSocialNER dataset offers user-centric information extraction and supports real-time applications, providing a valuable resource for public opinion analysis, news, and marketing on social media platforms. We also show that the zero-shot results of the regular NER model are poor on the social NER test set thus highlighting the need for more social NER datasets. The datasets and models are publicly available at https://github.com/l3cube-pune/MarathiNLP
• Abstract（参考訳）: L3Cube-MahaSocialNERデータセットは、Marathi言語で名前付きエンティティ認識(NER)用に特別に設計されたソーシャルメディアデータセットである。 データセットは、8つのエンティティクラスをカバーする18,000の手動ラベル付き文で構成され、非標準言語や非公式のイディオムを含むソーシャルメディアデータによって生じる課題に対処する。 CNN、LSTM、BiLSTM、Transformerモデルを含むディープラーニングモデルは、IOBおよび非IOB表記を用いて個々のデータセットで評価される。 その結果,マラーティーの非公式テキストにおける名前付き実体を正確に認識するモデルの有効性が示された。 L3Cube-MahaSocialNERデータセットは、ユーザ中心の情報抽出とリアルタイムアプリケーションのサポートを提供し、ソーシャルメディアプラットフォーム上での世論分析、ニュース、マーケティングのための貴重なリソースを提供する。 また、通常のNERモデルのゼロショット結果は、よりソーシャルなNERデータセットの必要性を強調するソーシャルなNERテストセットでは不十分であることを示す。 データセットとモデルはhttps://github.com/l3cube-pune/MarathiNLPで公開されている。

関連論文リスト

• RedPajama: an Open Dataset for Training Large Language Models [80.74772646989423]
  我々は、オープンソースの言語モデルを前進させるために対処しなければならない3つの中核的なデータ関連課題を特定します。 例えば、(1)データキュレーションプロセス、(2)大量の高品質データへのアクセス、(3)データセットキュレーションと分析のためのアーティファクトとメタデータの可用性などである。 LLaMAトレーニングデータセットのオープンレプリケーションであるRedPajama-V1と、生の未フィルタリングテキストデータと品質信号とメタデータからなる巨大なWeb専用データセットであるRedPajama-V2をリリースする。
  論文  参考訳（メタデータ） (2024-11-19T09:35:28Z)
• NERetrieve: Dataset for Next Generation Named Entity Recognition and Retrieval [49.827932299460514]
  我々は、大きな言語モデルによって提供される能力は、NER研究の終わりではなく、むしろエキサイティングな始まりであると主張する。 我々は、NERタスクの3つの変種と、それらをサポートするデータセットを示す。 500のエンティティタイプをカバーする400万段落の,大規模で銀の注釈付きコーパスを提供する。
  論文  参考訳（メタデータ） (2023-10-22T12:23:00Z)
• My Boli: Code-mixed Marathi-English Corpora, Pretrained Language Models and Evaluation Benchmarks [0.7874708385247353]
  私たちは、コードミキシングにおける事前の作業が欠けている低リソースのインドの言語であるMarathiにフォーカスしています。 L3Cube-MeCorpusは,Mr-Enコーパスと1000万のソーシャルメディア文による事前学習用コーパスである。 また、コード混合BERTベースのトランスモデルであるL3Cube-MeBERTとMeRoBERTaをMeCorpusで事前学習した。
  論文  参考訳（メタデータ） (2023-06-24T18:17:38Z)
• Constructing Colloquial Dataset for Persian Sentiment Analysis of Social Microblogs [0.0]
  本稿ではまず,ITRC-Opinionというユーザ意見データセットを協調的かつインソース的に構築する。 私たちのデータセットには、TwitterやInstagramといったソーシャルなマイクロブログから、6万の非公式で口語的なペルシア語のテキストが含まれています。 次に,畳み込みニューラルネットワーク(CNN)モデルに基づく新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-06-22T05:51:22Z)
• ManiTweet: A New Benchmark for Identifying Manipulation of News on Social Media [74.93847489218008]
  ソーシャルメディア上でのニュースの操作を識別し,ソーシャルメディア投稿の操作を検出し,操作された情報や挿入された情報を特定することを目的とした,新しいタスクを提案する。 この課題を研究するために,データ収集スキーマを提案し,3.6K対のツイートとそれに対応する記事からなるManiTweetと呼ばれるデータセットをキュレートした。 我々の分析では、このタスクは非常に難しいことを示し、大きな言語モデル(LLM)は不満足なパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2023-05-23T16:40:07Z)
• XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages [105.54207724678767]
  データ不足は、多言語NLPシステムの開発において重要な問題である。 我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。 XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
  論文  参考訳（メタデータ） (2023-05-19T18:00:03Z)
• L3Cube-MahaNER: A Marathi Named Entity Recognition Dataset and BERT models [0.7874708385247353]
  我々はマハーラーシュトラ州の住民によって顕著に話されるインドの言語であるマラティに焦点を当てている。 マラタイで最初の主要金本位認証データセットであるL3Cube-MahaNERを提示する。 最後に、mBERT、XLM-RoBERTa、IndicBERT、MahaBERTなどの異なるCNN、LSTM、Transformerベースのモデルでデータセットをベンチマークする。
  論文  参考訳（メタデータ） (2022-04-12T18:32:15Z)
• L3Cube-MahaHate: A Tweet-based Marathi Hate Speech Detection Dataset and BERT models [0.7874708385247353]
  インドでは、マラーティ語は広く使われている言語の一つである。 本稿では,マラウイで最初のHate SpeechデータセットであるL3Cube-MahaHateを紹介する。
  論文  参考訳（メタデータ） (2022-03-25T17:00:33Z)
• An Open-Source Dataset and A Multi-Task Model for Malay Named Entity Recognition [3.511753382329252]
  マレーNERデータセット(MYNER)を28,991文(384万個以上)で構築する。 NERトレーニングを明示的かつ暗黙的に改善するために、補助的なタスクである境界検出が導入されている。
  論文  参考訳（メタデータ） (2021-09-03T03:29:25Z)
• MobIE: A German Dataset for Named Entity Recognition, Entity Linking and Relation Extraction in the Mobility Domain [76.21775236904185]
  データセットは3,232のソーシャルメディアテキストと91Kトークンによるトラフィックレポートで構成され、20.5Kアノテーション付きエンティティを含んでいる。 データセットのサブセットには,7つのモビリティ関連,n-ary関係型がアノテートされている。 私たちの知る限りでは、NER、EL、REのアノテーションを組み合わせた最初のドイツ語データセットです。
  論文  参考訳（メタデータ） (2021-08-16T08:21:50Z)
• Named Entity Recognition for Social Media Texts with Semantic Augmentation [70.44281443975554]
  名前付きエンティティ認識のための既存のアプローチは、短いテキストと非公式テキストで実行される場合、データ空間の問題に悩まされる。 そこで我々は,NER によるソーシャルメディアテキストに対するニューラルベースアプローチを提案し,ローカルテキストと拡張セマンティクスの両方を考慮に入れた。
  論文  参考訳（メタデータ） (2020-10-29T10:06:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。