論文の概要: DravidianCodeMix: Sentiment Analysis and Offensive Language Identification Dataset for Dravidian Languages in Code-Mixed Text

• arxiv url: http://arxiv.org/abs/2106.09460v1
• Date: Thu, 17 Jun 2021 13:13:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-19 00:07:11.415175
• Title: DravidianCodeMix: Sentiment Analysis and Offensive Language Identification Dataset for Dravidian Languages in Code-Mixed Text
• Title（参考訳）: DravidianCodeMix: Code-Mixed TextにおけるDravidian言語に対する知覚分析と攻撃言語識別データセット
• Authors: Bharathi Raja Chakravarthi, Ruba Priyadharshini, Vigneshwaran Muralidaran, Navya Jose, Shardul Suryawanshi, Elizabeth Sherly, John P. McCrae
• Abstract要約: データセットは、タミル語で約44,000のコメント、カナダ語で約7000のコメント、マラヤ語で約20,000のコメントで構成されている。 このデータはボランティアアノテータによって手動で注釈付けされ、クリッペンドルフのアルファ版では高いアノテータ間合意が結ばれている。
• 参考スコア（独自算出の注目度）: 0.9738927161150494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper describes the development of a multilingual, manually annotated dataset for three under-resourced Dravidian languages generated from social media comments. The dataset was annotated for sentiment analysis and offensive language identification for a total of more than 60,000 YouTube comments. The dataset consists of around 44,000 comments in Tamil-English, around 7,000 comments in Kannada-English, and around 20,000 comments in Malayalam-English. The data was manually annotated by volunteer annotators and has a high inter-annotator agreement in Krippendorff's alpha. The dataset contains all types of code-mixing phenomena since it comprises user-generated content from a multilingual country. We also present baseline experiments to establish benchmarks on the dataset using machine learning methods. The dataset is available on Github (https://github.com/bharathichezhiyan/DravidianCodeMix-Dataset) and Zenodo (https://zenodo.org/record/4750858\#.YJtw0SYo\_0M).
• Abstract（参考訳）: 本稿では,ソーシャルメディアのコメントから生成された3つの低リソースDravidian言語のための,多言語で手動で注釈付きデータセットの開発について述べる。 このデータセットは6万以上のyoutubeコメントに対して感情分析と攻撃的言語識別のためにアノテートされた。 データセットはタミル語で約44,000のコメント、カナダ語で約7000のコメント、マラヤ語で約20,000のコメントで構成されている。 データはボランティア・アノテータによって手動でアノテーションされ、krippendorff's alphaで高いアノテータ間契約を結んでいる。 データセットは、多言語国からのユーザ生成コンテンツを含むため、あらゆる種類のコード混合現象を含む。 また,機械学習手法を用いてデータセットのベンチマークを確立するためのベースライン実験を行う。 データセットはGithub(https://github.com/bharathichzhiyan/DravidianCodeMix-Dataset)とZenodo(https://zenodo.org/record/4750858\#.YJtw0SYo\0M)で入手できる。

関連論文リスト

• WorldCuisines: A Massive-Scale Benchmark for Multilingual and Multicultural Visual Question Answering on Global Cuisines [74.25764182510295]
  視覚言語モデル(VLM)は、特に英語以外の言語において、文化特有の知識に苦しむことが多い。 我々は多言語および多文化の視覚的理解のための大規模ベンチマークであるWorld Cuisinesを紹介した。 このベンチマークには、30の言語と方言にまたがるテキストイメージペアを備えた、視覚的質問応答(VQA)データセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-16T16:11:49Z)
• Open the Data! Chuvash Datasets [50.59120569845975]
  Chuvash言語用の包括的データセットを4つ紹介する。 これらのデータセットには、モノリンガルデータセット、ロシア語による並列データセット、英語による並列データセット、オーディオデータセットが含まれる。
  論文  参考訳（メタデータ） (2024-05-31T07:51:19Z)
• A diverse Multilingual News Headlines Dataset from around the World [57.37355895609648]
  Babel Briefingsは、2020年8月から2021年11月までの470万のニュースの見出しを、世界中の30の言語と54の場所にわたって掲載した、新しいデータセットである。 言語モデルのトレーニングや評価のための高品質なデータセットとして機能し、単純でアクセスしやすい記事のコレクションを提供する。
  論文  参考訳（メタデータ） (2024-03-28T12:08:39Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• MegaWika: Millions of reports and their sources across 50 diverse languages [74.3909725023673]
  MegaWikaは、50の言語で1300万のWikipedia記事と、7100万の参考資料で構成されている。 我々は、このデータセットを無数のアプリケーションに処理し、非英語の記事を言語間アプリケーションに翻訳する。 MegaWikaは、文レベルのレポート生成のための最大のリソースであり、マルチランガルである唯一のレポート生成データセットである。
  論文  参考訳（メタデータ） (2023-07-13T20:04:02Z)
• Taxi1500: A Multilingual Dataset for Text Classification in 1500 Languages [40.01333053375582]
  我々は、多数の言語を含むテキスト分類データセットを作成することを目指している。 我々は、このようなデータセットを構築するために聖書の平行翻訳を利用する。 データの英語側をアノテートし、アライメントされた節を通してラベルを他の言語に投影することにより、1500以上の言語に対してテキスト分類データセットを生成する。
  論文  参考訳（メタデータ） (2023-05-15T09:43:32Z)
• Neural Label Search for Zero-Shot Multi-Lingual Extractive Summarization [80.94424037751243]
  ゼロショット多言語抽出テキスト要約では、通常、モデルは英語のデータセットに基づいて訓練され、他の言語の要約データセットに適用される。 本研究では,NLS(Neural Label Search for Summarization)を提案する。 我々はMLSUMとWikiLinguaのデータセット上で多言語ゼロショット要約実験を行い、人間と自動両方の評価を用いて最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-04-28T14:02:16Z)
• IIITT@Dravidian-CodeMix-FIRE2021: Transliterate or translate? Sentiment analysis of code-mixed text in Dravidian languages [0.0]
  本研究は,カナダ語,タミル語,マラヤラム語において,コードミキシングによるソーシャルメディアコメントの感情分析という形で,この研究に小さな貢献をしている。 FIRE 2021でDravidian-CodeMix氏が行った共有タスクの作業について説明している。 結果は,タミル,カナダ,マラヤラムの各タスクにおいて,最良モデルが4位,第5位,第10位であった研究論文に記録されている。
  論文  参考訳（メタデータ） (2021-11-15T16:57:59Z)
• Offensive Language Identification in Low-resourced Code-mixed Dravidian languages using Pseudo-labeling [0.16252563723817934]
  我々は、タミル語、カナダ語、マラヤラム語のドラヴィダ語で、コードミックスされたソーシャルメディアコメント/ポストを分類する。 カスタムデータセットは、コードミキシングされたすべてのテキストをそれぞれのDravidian言語に翻訳することで構築される。 新たに構築されたデータセット上で、最近トレーニング済みの言語モデルをいくつか微調整する。
  論文  参考訳（メタデータ） (2021-08-27T08:43:08Z)
• NUIG-Shubhanker@Dravidian-CodeMix-FIRE2020: Sentiment Analysis of Code-Mixed Dravidian text using XLNet [0.0]
  ソーシャルメディアは多言語社会に浸透してきたが、その多くは英語をコミュニケーションの言語として好んでいる。 会話中に文化的な言語と英語を混ぜることで、多言語データが多くなり、今日の世界で利用できるこのコード混在データと呼ぶのは自然なことです。 このようなデータを用いた下流NLPタスクは、複数の言語にまたがるセマンティックな性質のため、難しい。 本稿では,自動回帰XLNetモデルを用いて,タミル・イングリッシュとマラヤラム・イングリッシュ・データセットの感情分析を行う。
  論文  参考訳（メタデータ） (2020-10-15T14:09:02Z)
• A Sentiment Analysis Dataset for Code-Mixed Malayalam-English [0.8454131372606295]
  本稿では,マラヤラム英語のコードミキシングテキストの感情分析のためのゴールドスタンダードコーパスを提案する。 我々はこのコーパスを用いて、マラヤラム英語のコードミックステキストの感情分析のベンチマークを提供する。
  論文  参考訳（メタデータ） (2020-05-30T07:32:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。