Fugu-MT 論文翻訳(概要): SentiGOLD: A Large Bangla Gold Standard Multi-Domain Sentiment Analysis Dataset and its Evaluation

論文の概要: SentiGOLD: A Large Bangla Gold Standard Multi-Domain Sentiment Analysis Dataset and its Evaluation

arxiv url: http://arxiv.org/abs/2306.06147v1
Date: Fri, 9 Jun 2023 12:07:10 GMT
ステータス: 処理完了
システム内更新日: 2023-06-13 20:49:35.345206
Title: SentiGOLD: A Large Bangla Gold Standard Multi-Domain Sentiment Analysis Dataset and its Evaluation
Title（参考訳）: SentiGOLD: 大規模バングラ金標準マルチドメインセンシング分析データセットとその評価
Authors: Md. Ekramul Islam, Labib Chowdhury, Faisal Ahamed Khan, Shazzad Hossain, Sourave Hossain, Mohammad Mamun Or Rashid, Nabeel Mohammed and Mohammad Ruhul Amin
Abstract要約: センティゴルドはバングラデシュ政府とバングラデシュ言語委員会によって合意された、確立された言語慣習に準拠している。このデータセットには、オンラインビデオコメント、ソーシャルメディア投稿、ブログ、ニュース、その他のソースからのデータが含まれている。上位モデルは5つのクラスで0.62(イントラデータセット)のマクロf1スコアを獲得し、ベンチマークを設定し、3つのクラスで0.61(SentNoBのクロスデータセット)を得る。
参考スコア（独自算出の注目度）: 0.9894420655516565
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This study introduces SentiGOLD, a Bangla multi-domain sentiment analysis dataset. Comprising 70,000 samples, it was created from diverse sources and annotated by a gender-balanced team of linguists. SentiGOLD adheres to established linguistic conventions agreed upon by the Government of Bangladesh and a Bangla linguistics committee. Unlike English and other languages, Bangla lacks standard sentiment analysis datasets due to the absence of a national linguistics framework. The dataset incorporates data from online video comments, social media posts, blogs, news, and other sources while maintaining domain and class distribution rigorously. It spans 30 domains (e.g., politics, entertainment, sports) and includes 5 sentiment classes (strongly negative, weakly negative, neutral, and strongly positive). The annotation scheme, approved by the national linguistics committee, ensures a robust Inter Annotator Agreement (IAA) with a Fleiss' kappa score of 0.88. Intra- and cross-dataset evaluation protocols are applied to establish a standard classification system. Cross-dataset evaluation on the noisy SentNoB dataset presents a challenging test scenario. Additionally, zero-shot experiments demonstrate the generalizability of SentiGOLD. The top model achieves a macro f1 score of 0.62 (intra-dataset) across 5 classes, setting a benchmark, and 0.61 (cross-dataset from SentNoB) across 3 classes, comparable to the state-of-the-art. Fine-tuned sentiment analysis model can be accessed at https://sentiment.bangla.gov.bd.
Abstract（参考訳）: 本研究では,バングラ・マルチドメイン感情分析データセットsentigoldを紹介する。 70,000のサンプルからなり、多様な情報源から作成され、言語学者の男女バランスの取れたチームによって注釈付けされた。センティゴールドはバングラデシュ政府とバングラデシュ言語委員会によって合意された確立された言語条約に準拠している。英語や他の言語とは異なり、バングラは国語学の枠組みがないため、標準感情分析データセットを欠いている。このデータセットには、オンラインビデオコメント、ソーシャルメディア投稿、ブログ、ニュース、その他のソースからのデータが含まれている。 30のドメイン(例えば政治、娯楽、スポーツ)にまたがり、5つの感情クラス(強い否定、弱い否定、中立、強い肯定)を含んでいる。国語委員会によって承認されたアノテーションスキームは、フレイスのカッパスコア0.88の堅牢なインターアノテータ協定(IAA)を保証する。標準分類システムを確立するために、イントラおよびクロスデータセット評価プロトコルを適用する。 SentNoBデータセットのクロスデータセット評価は、難しいテストシナリオを示す。さらに、ゼロショット実験はSentiGOLDの一般化可能性を示す。トップモデルでは、マクロf1スコアを5つのクラスで 0.62 (intra-dataset)、ベンチマークを設定し、0.61 (sendnobのcross-dataset) を3つのクラスで達成する。微調整の感情分析モデルはhttps://sentiment.bangla.gov.bd.comで利用できる。

関連論文リスト

GDTB: Genre Diverse Data for English Shallow Discourse Parsing across Modalities, Text Types, and Domains [13.598485056526771]
既存のUD 英語 GUM コーパスに基づいて,PDTB スタイルの浅層談話構文解析のための新しいベンチマークを提示し,評価した。ドメイン間関係分類に関する一連の実験において、我々のデータセットはPDTBと互換性があるが、領域外劣化は観測されている。
論文参考訳（メタデータ） (2024-11-01T10:04:43Z)
You Shall Know a Tool by the Traces it Leaves: The Predictability of Sentiment Analysis Tools [74.98850427240464]
感情分析ツールが同じデータセットで一致しないことを示す。感傷的アノテーションに使用される感情ツールは,その結果から予測できることを示す。
論文参考訳（メタデータ） (2024-10-18T17:27:38Z)
RuBia: A Russian Language Bias Detection Dataset [3.8501658629243076]
本稿では,RuBiaと呼ばれるロシア語に特化して設計されたバイアス検出データセットを提案する。 RuBiaデータセットは、性別、国籍、社会経済的地位、多様性の4つの領域に分けられる。ルビアには、19の国に2000近いユニークな文が散在している。
論文参考訳（メタデータ） (2024-03-26T10:01:01Z)
Paloma: A Benchmark for Evaluating Language Model Fit [114.63031978259467]
言語モデルアセスメント(Paloma)は585のテキストドメインに適合する。一般的なコーパスで事前学習したベースラインの結果をベンチマークに投入する。
論文参考訳（メタデータ） (2023-12-16T19:12:45Z)
Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文参考訳（メタデータ） (2023-07-16T15:18:25Z)
Constructing Colloquial Dataset for Persian Sentiment Analysis of Social Microblogs [0.0]
本稿ではまず,ITRC-Opinionというユーザ意見データセットを協調的かつインソース的に構築する。私たちのデータセットには、TwitterやInstagramといったソーシャルなマイクロブログから、6万の非公式で口語的なペルシア語のテキストが含まれています。次に,畳み込みニューラルネットワーク(CNN)モデルに基づく新しいアーキテクチャを提案する。
論文参考訳（メタデータ） (2023-06-22T05:51:22Z)
BD-SHS: A Benchmark Dataset for Learning to Detect Online Bangla Hate Speech in Different Social Contexts [1.5483942282713241]
本稿では,Hate Speechをソーシャルコンテキストに含めた大規模ラベル付きデータセットを提案する。データセットには、オンラインソーシャルネットワークサイトからクロールされた50,200件以上の攻撃的なコメントが含まれている。実験の結果,147万コメントのみを用いてトレーニングした単語の埋め込みが一貫してHS検出のモデリングを改善することがわかった。
論文参考訳（メタデータ） (2022-06-01T10:10:15Z)
Sentiment analysis in tweets: an assessment study from classical to modern text representation models [59.107260266206445]
Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
論文参考訳（メタデータ） (2021-05-29T21:05:28Z)
TweetEval: Unified Benchmark and Comparative Evaluation for Tweet Classification [22.265865542786084]
異種Twitter固有の7つの分類タスクからなる新しい評価フレームワーク(TweetEval)を提案する。最初の実験では、既存の訓練済みの汎用言語モデルから始めることの有効性を示した。
論文参考訳（メタデータ） (2020-10-23T14:11:04Z)
Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文参考訳（メタデータ） (2020-10-13T21:33:24Z)
XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
論文参考訳（メタデータ） (2020-10-13T15:32:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。