論文の概要: Sampling Strategies for Creation of a Benchmark for Dialectal Sentiment Classification

• arxiv url: http://arxiv.org/abs/2410.11216v1
• Date: Tue, 15 Oct 2024 03:02:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:48.884156
• Title: Sampling Strategies for Creation of a Benchmark for Dialectal Sentiment Classification
• Title（参考訳）: 辞書知覚分類のためのベンチマーク作成のためのサンプリング戦略
• Authors: Dipankar Srirag, Jordan Painter, Aditya Joshi, Diptesh Kanojia,
• Abstract要約: 本稿では,Google Placesレビューの弁証的感情分類のためのベンチマークを作成するためのデータサンプリング戦略について検討する。 位置情報に基づくフィルタリングに基づいて、オーストラリア(オーストラリア英語)、インド(インド英語)、イギリス(イギリス英語)のレビューの自己教師付きデータセットを収集する。 ラベルのセマンティクス、レビュー長、感情の比率に基づくサンプリング手法を採用し、3つの細調整BERTモデル上での性能を報告する。
• 参考スコア（独自算出の注目度）: 8.823927892310238
• License:
• Abstract: This paper investigates data sampling strategies to create a benchmark for dialectal sentiment classification of Google Places reviews written in English. Based on location-based filtering, we collect a self-supervised dataset of reviews in Australian (Australian English), Indian (Indian English), and British (British English) English with self-supervised sentiment labels (1-star to 5-star). We employ sampling techniques based on label semantics, review length, and sentiment proportion and report performances on three fine-tuned BERT-based models. Our multi-dialect evaluation provides pointers to challenging scenarios for inner-circle (Australian English and British English) as well as non-native dialects (Indian English) of English, highlighting the need for more diverse benchmarks.
• Abstract（参考訳）: 本稿では,Google Placesレビューの弁証的感情分類のためのベンチマークを作成するためのデータサンプリング戦略について検討する。 位置情報に基づくフィルタリングに基づいて、オーストラリア(オーストラリア英語)、インド(インド英語)、イギリス(イギリス英語)のレビューの自己監督されたデータセットを収集する。 ラベルのセマンティクス、レビュー長、感情の比率に基づくサンプリング手法を採用し、3つの細調整BERTモデル上での性能を報告する。 我々の多方言評価は、インナーサークル(オーストラリア英語とイギリス英語)と英語の非ネイティブ方言(インド英語)の挑戦的なシナリオへのポインタを提供し、より多様なベンチマークの必要性を強調します。

関連論文リスト

• BESSTIE: A Benchmark for Sentiment and Sarcasm Classification for Varieties of English [8.823927892310238]
  BESSTIEは、オーストラリア(en-AU)、インド(en-IN)、イギリス(en-UK)の3種類の英語に対する感情と皮肉の分類のベンチマークである。 位置に基づくフィルタリングとトピックに基づくフィルタリングという2つの手法を用いて,これらの言語品種のデータセットを収集する。 言語変異のネイティブ話者は、感情ラベルと皮肉ラベルでデータセットを手動で注釈付けする。
  論文  参考訳（メタデータ） (2024-12-06T02:34:40Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• Multilingual Few-Shot Learning via Language Model Retrieval [18.465566186549072]
  トランスフォーマーベースの言語モデルは、数ショットのインコンテキスト学習において顕著な成功を収めた。 本研究は,意味論的に類似したショットサンプルを検索し,コンテキストとして利用する研究である。 提案手法を,意図検出,質問分類,感情分析,話題分類に関連する5つの自然言語理解データセット上で評価した。
  論文  参考訳（メタデータ） (2023-06-19T14:27:21Z)
• A Corpus for Sentence-level Subjectivity Detection on English News Articles [49.49218203204942]
  我々はこのガイドラインを用いて、議論を呼んだ話題に関する英ニュース記事から抽出した638の目的語と411の主観的な文からなるNewsSD-ENGを収集する。 我々のコーパスは、語彙や機械翻訳といった言語固有のツールに頼ることなく、英語で主観的検出を行う方法を舗装している。
  論文  参考訳（メタデータ） (2023-05-29T11:54:50Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)
• Towards Understanding Sample Variance in Visually Grounded Language Generation: Evaluations and Observations [67.4375210552593]
  視覚的基盤言語生成において,重要だがしばしば無視される問題を理解するために実験を設計する。 人間にはさまざまなユーティリティと視覚的注意があるので、マルチ参照データセットのサンプルのばらつきはモデルの性能にどのように影響しますか? 人為的な参照は、異なるデータセットやタスクで大きく変化する可能性があり、それぞれのタスクの性質が明らかになる。
  論文  参考訳（メタデータ） (2020-10-07T20:45:14Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)
• Leveraging Foreign Language Labeled Data for Aspect-Based Opinion Mining [1.503974529275767]
  本稿では,外国語のラベル付きデータを利用したアスペクトベースの意見マイニング手法を提案する。 異なる言語におけるアスペクトや意見は異なる単語で表現される可能性があるため、単語埋め込みを用いて提案する。 またベトナムのレストランレビューから抽出したアスペクトと感情極性の注釈付きコーパスも導入した。
  論文  参考訳（メタデータ） (2020-03-15T15:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。