論文の概要: Annotation Quality in Aspect-Based Sentiment Analysis: A Case Study Comparing Experts, Students, Crowdworkers, and Large Language Model

• arxiv url: http://arxiv.org/abs/2605.03624v1
• Date: Tue, 05 May 2026 10:54:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.904809
• Title: Annotation Quality in Aspect-Based Sentiment Analysis: A Case Study Comparing Experts, Students, Crowdworkers, and Large Language Model
• Title（参考訳）: アスペクトベース感性分析における注釈品質:専門家、学生、クラウドワーカー、および大規模言語モデルの比較
• Authors: Niklas Donhauser, Jakob Fehle, Nils Constantin Hellwig, Markus Weinberger, Udo Kruschwitz, Christian Wolff,
• Abstract要約: Aspect-Based Sentiment Analysis (ABSA)は、テキスト内の特定の側面やターゲットに対する感情を識別することで、詳細な意見分析を可能にする。 ABSAは英語で広く研究されているが、高品質な注釈付きデータセットが欠如していることから、ドイツ語などの他の言語の研究は限られている。 本稿では,異なるアノテーション源がドイツのABSAの発展にどのように影響するかを検討する。
• 参考スコア（独自算出の注目度）: 5.054478273897118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aspect-Based Sentiment Analysis (ABSA) enables fine-grained opinion analysis by identifying sentiments toward specific aspects or targets within a text. While ABSA has been widely studied for English, research on other languages such as German remains limited, largely due to the lack of high-quality annotated datasets. This paper examines how different annotation sources influence the development of German ABSA. To this end, an existing dataset is re-annotated by experts to establish a ground truth, which serves as a reference for evaluating annotations produced by students, crowdworkers, Large Language Models (LLMs), and experts. Annotation quality is compared using Inter-Annotator Agreement (IAA) and its impact on downstream model performance for different ABSA subtasks. The evaluation focuses on Aspect Category Sentiment Analysis (ACSA) and Target Aspect Sentiment Detection (TASD). We apply State-of-the-Art (SOTA) methods for ABSA, including BERT-, T5-, and LLaMA-based approaches to assess performance differences, spanning fine-tuning and in-context learning with instruction prompts. The findings provide practical insights into trade-offs between annotation reliability and efficiency, offering guidance for dataset construction in under-resourced Natural Language Processing (NLP) scenarios.
• Abstract（参考訳）: Aspect-Based Sentiment Analysis (ABSA)は、テキスト内の特定の側面やターゲットに対する感情を識別することで、詳細な意見分析を可能にする。 ABSAは英語で広く研究されているが、高品質な注釈付きデータセットが欠如していることから、ドイツ語などの他の言語の研究は限られている。 本稿では,異なるアノテーション源がドイツのABSAの発展にどのように影響するかを検討する。 この目的のために、既存のデータセットが専門家によって再注釈され、学生、クラウドワーカー、大規模言語モデル(LLM)、専門家によるアノテーション評価の参考となる基礎的真実が確立される。 アノテーションの品質を、IAA(Inter-Annotator Agreement)を用いて比較し、ABSAサブタスクの下流モデルのパフォーマンスに与える影響について検討する。 評価は、アスペクトカテゴリー知覚分析(ACSA)とターゲットアスペクト知覚検出(TASD)に焦点を当てる。 本研究では, BERT-, T5-, LLaMA をベースとした ABSA のための State-of-the-Art (SOTA) 手法を適用し, 命令プロンプトによる微調整, 文脈内学習を行う。 この結果は、アノテーションの信頼性と効率のトレードオフに関する実践的な洞察を与え、アンダーリソースの自然言語処理(NLP)シナリオにおけるデータセット構築のためのガイダンスを提供する。

関連論文リスト

• DimABSA: Building Multilingual and Multidomain Datasets for Dimensional Aspect-Based Sentiment Analysis [57.70022214686838]
  DimABSAは、従来のABSA要素とVAスコアの両方に注釈を付けた最初の多言語次元ABSAリソースである。 このリソースには、42,590の文にわたる76,958のアスペクトインスタンスが含まれており、6つの言語と4つのドメインにまたがっている。
  論文  参考訳（メタデータ） (2026-01-30T14:30:35Z)
• M-ABSA: A Multilingual Dataset for Aspect-Based Sentiment Analysis [34.298472723655344]
  M-ABSAは、7つのドメインと21の言語にまたがる包括的なデータセットである。 私たちの主な焦点は三重項抽出であり、アスペクトの項、アスペクトのカテゴリ、感情の極性を特定することである。 実験により,このデータセットは多言語・多ドメイン移動学習などの多様な評価タスクを可能にすることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T14:16:01Z)
• Iterative Data Generation with Large Language Models for Aspect-based Sentiment Analysis [39.57537769578304]
  本稿では,ABSAの性能向上を図るために,IDGという系統的反復データ生成フレームワークを提案する。 IDGの中核は、LLMの強力な能力(命令追従、文脈内学習、自己回帰)を最大限に活用して、より流動的で多様な擬似ラベルデータを生成することである。 IDGは5つのベースラインABSAモデルの間で一貫した、重要なパフォーマンス向上をもたらす。
  論文  参考訳（メタデータ） (2024-06-29T07:00:37Z)
• ROAST: Review-level Opinion Aspect Sentiment Target Joint Detection for ABSA [50.90538760832107]
  本研究は新たな課題であるROAST(Review-Level Opinion Aspect Sentiment Target)を提示する。 ROASTは、文章レベルのABSAとテキストレベルのABSAのギャップを埋めようとしている。 利用可能なデータセットを拡張してROASTを有効にし、以前の研究で指摘された欠点に対処します。
  論文  参考訳（メタデータ） (2024-05-30T17:29:15Z)
• Survey of Aspect-based Sentiment Analysis Datasets [55.61047894397937]
  アスペクトベースの感情分析(ABSA)は、ユーザ生成レビューの分析を必要とする自然言語処理の問題である。 ABSAの多くの散在したコーパスは、研究者が特定のABSAサブタスクに適したコーパスを素早く特定することを困難にしている。 本研究では,自律型ABSAシステムの学習・評価に使用できるコーパスデータベースを提案する。
  論文  参考訳（メタデータ） (2022-04-11T16:23:36Z)
• Understanding Pre-trained BERT for Aspect-based Sentiment Analysis [71.40586258509394]
  本稿では、アスペクトベース感情分析(ABSA)におけるタスクに対するBERTのレビューから得られた事前学習された隠れ表現について分析する。 アスペクトや意見のアノテーションなしでラベル付けされていないコーパスでトレーニングされた(マスクされた)言語モデルの一般的なプロキシタスクが、ABSAの下流タスクにどのように重要な機能を提供するかは明らかではない。
  論文  参考訳（メタデータ） (2020-10-31T02:21:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。