論文の概要: Experiences from Creating a Benchmark for Sentiment Classification for Varieties of English

• arxiv url: http://arxiv.org/abs/2410.11216v2
• Date: Wed, 13 Nov 2024 04:16:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 19:25:02.905084
• Title: Experiences from Creating a Benchmark for Sentiment Classification for Varieties of English
• Title（参考訳）: 各種英語の感性分類のためのベンチマークの作成からの経験
• Authors: Dipankar Srirag, Jordan Painter, Aditya Joshi, Diptesh Kanojia,
• Abstract要約: 既存のベンチマークは、英語の言語変種のように、言語的な多様性を説明できないことが多い。 本稿では、オーストラリア(en-AU)、インド(en-IN)、イギリス(en-UK)の3種類の英語に対する感情分類ベンチマークを構築した経験について紹介する。
• 参考スコア（独自算出の注目度）: 8.823927892310238
• License:
• Abstract: Existing benchmarks often fail to account for linguistic diversity, like language variants of English. In this paper, we share our experiences from our ongoing project of building a sentiment classification benchmark for three variants of English: Australian (en-AU), Indian (en-IN), and British (en-UK) English. Using Google Places reviews, we explore the effects of various sampling techniques based on label semantics, review length, and sentiment proportion and report performances on three fine-tuned BERT-based models. Our initial evaluation reveals significant performance variations influenced by sample characteristics, label semantics, and language variety, highlighting the need for nuanced benchmark design. We offer actionable insights for researchers to create robust benchmarks, emphasising the importance of diverse sampling, careful label definition, and comprehensive evaluation across linguistic varieties.
• Abstract（参考訳）: 既存のベンチマークは、英語の言語変種のように、言語的な多様性を説明できないことが多い。 本稿では、オーストラリア(en-AU)、インド(en-IN)、イギリス(en-UK)の3つの変種に対する感情分類ベンチマークを構築するという、現在進行中のプロジェクトからの経験について紹介する。 Google Placesのレビューを用いて,ラベルセマンティクス,レビュー長,感情の比率に基づく様々なサンプリング手法の効果について検討し,3つの細調整BERTモデルの性能について報告する。 最初の評価では、サンプル特性、ラベルの意味、言語多様性の影響を受け、ニュアンスドベンチマーク設計の必要性を強調した。 我々は、研究者が堅牢なベンチマークを作成するための実用的な洞察を提供し、多様なサンプリング、注意深いラベル定義、言語品種間の包括的評価の重要性を強調している。

関連論文リスト

• Estimating the Level of Dialectness Predicts Interannotator Agreement in Multi-dialect Arabic Datasets [15.46274799809334]
  アラビアレベル・オブ・ダイアレクトネス(ALDi)スコアとアノテータのデータセットに関する合意との関係を解析した。 各サンプルの方言の母語話者に対して高いALDiスコアのルーティングサンプルを優先順位付けすることを推奨する。
  論文  参考訳（メタデータ） (2024-05-18T12:58:02Z)
• Towards Better Inclusivity: A Diverse Tweet Corpus of English Varieties [0.0]
  私たちは、その根本にあるバイアス(データそのもの)の問題に対処することを目指しています。 英語の多言語話者の割合が低い国からのツイートのデータセットをキュレートする。 ベストプラクティスに従って、我々の成長するコーパスには7カ国から170,800のツイートが写っている。
  論文  参考訳（メタデータ） (2024-01-21T13:18:20Z)
• Text sampling strategies for predicting missing bibliographic links [0.0]
  本稿では,自動文分類を行う際に,テキストをサンプリングする様々な手法を提案する。 文脈サイズと位置の異なる多くのサンプリング戦略について検討する。 本手法は,応用知的情報システムのレコメンデーションエンジンに使用することができる。
  論文  参考訳（メタデータ） (2023-01-04T15:53:50Z)
• FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation [64.9546787488337]
  本稿では、Few-shot Region-aware Machine Translationのための新しいデータセットと評価ベンチマークFRMTを提案する。 このデータセットは、英語からポルトガル語と中国語の2つの地域変種へのプロの翻訳で構成されている。
  論文  参考訳（メタデータ） (2022-10-01T05:02:04Z)
• Neural Label Search for Zero-Shot Multi-Lingual Extractive Summarization [80.94424037751243]
  ゼロショット多言語抽出テキスト要約では、通常、モデルは英語のデータセットに基づいて訓練され、他の言語の要約データセットに適用される。 本研究では,NLS(Neural Label Search for Summarization)を提案する。 我々はMLSUMとWikiLinguaのデータセット上で多言語ゼロショット要約実験を行い、人間と自動両方の評価を用いて最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-04-28T14:02:16Z)
• Hierarchical Bi-Directional Self-Attention Networks for Paper Review Rating Recommendation [81.55533657694016]
  本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。 具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。 我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
  論文  参考訳（メタデータ） (2020-11-02T08:07:50Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)
• Leveraging Foreign Language Labeled Data for Aspect-Based Opinion Mining [1.503974529275767]
  本稿では,外国語のラベル付きデータを利用したアスペクトベースの意見マイニング手法を提案する。 異なる言語におけるアスペクトや意見は異なる単語で表現される可能性があるため、単語埋め込みを用いて提案する。 またベトナムのレストランレビューから抽出したアスペクトと感情極性の注釈付きコーパスも導入した。
  論文  参考訳（メタデータ） (2020-03-15T15:53:53Z)
• Automatic Discourse Segmentation: an evaluation in French [65.00134288222509]
  本稿では, 部分分割法と, 部分分割品質の予備評価について述べる。 我々は,マーカーリストと統計POSラベリングという,複数の言語で同時に利用可能なリソースのみに基づく3つのモデルを開発した。
  論文  参考訳（メタデータ） (2020-02-10T21:35:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。