論文の概要: Large Language Models as Automatic Annotators and Annotation Adjudicators for Fine-Grained Opinion Analysis

• arxiv url: http://arxiv.org/abs/2601.16800v1
• Date: Fri, 23 Jan 2026 14:52:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-26 14:27:27.728397
• Title: Large Language Models as Automatic Annotators and Annotation Adjudicators for Fine-Grained Opinion Analysis
• Title（参考訳）: ファイングラインドオピニオン分析のための自動アノテーションとアノテーション適応子としての大規模言語モデル
• Authors: Gaurav Negi, MA Waskow, Paul Buitelaar,
• Abstract要約: この作業では、宣言的なアノテーションパイプラインを使用して、テキスト中の詳細な意見を識別します。 LLM は自動アノテータやアジュディケータとして機能し,個々の LLM ベースのアノテータ間で高いアノテータ間合意を実現する。 これにより、これらの微粒な意見アノテートデータセットを作成するのに必要なコストと人的労力が削減される。
• 参考スコア（独自算出の注目度）: 3.186130813218338
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-grained opinion analysis of text provides a detailed understanding of expressed sentiments, including the addressed entity. Although this level of detail is sound, it requires considerable human effort and substantial cost to annotate opinions in datasets for training models, especially across diverse domains and real-world applications. We explore the feasibility of LLMs as automatic annotators for fine-grained opinion analysis, addressing the shortage of domain-specific labelled datasets. In this work, we use a declarative annotation pipeline. This approach reduces the variability of manual prompt engineering when using LLMs to identify fine-grained opinion spans in text. We also present a novel methodology for an LLM to adjudicate multiple labels and produce final annotations. After trialling the pipeline with models of different sizes for the Aspect Sentiment Triplet Extraction (ASTE) and Aspect-Category-Opinion-Sentiment (ACOS) analysis tasks, we show that LLMs can serve as automatic annotators and adjudicators, achieving high Inter-Annotator Agreement across individual LLM-based annotators. This reduces the cost and human effort needed to create these fine-grained opinion-annotated datasets.
• Abstract（参考訳）: テキストのきめ細かい意見分析は、言及された実体を含む表現された感情の詳細な理解を提供する。 このレベルの詳細は健全だが、トレーニングモデルのデータセット、特にさまざまなドメインや現実世界のアプリケーションにおいて、意見に注釈をつけるには相当な人的労力と相当なコストが必要である。 ドメイン固有のラベル付きデータセットの不足に対処する,詳細な意見分析のための自動アノテータとしてのLCMの実現可能性について検討する。 この作業では、宣言的なアノテーションパイプラインを使用します。 このアプローチは、テキスト中の微粒な意見を識別するためにLLMを使用する場合、手動プロンプトエンジニアリングのばらつきを低減する。 また,複数のラベルを調整し,最終的なアノテーションを生成するLLMの新しい手法を提案する。 Aspect Sentiment Triplet extract (ASTE) と Aspect-Category-Opinion-Sentiment (ACOS) 分析タスクの異なるサイズのモデルでパイプラインを検証した結果,LSM が自動アノテータおよびアジュディケータとして機能し,個々のLCM ベースのアノテータ間で高いアノテータ契約を実現することを示す。 これにより、これらの微粒な意見アノテートデータセットを作成するのに必要なコストと人的労力が削減される。

関連論文リスト

• An AI-Powered Research Assistant in the Lab: A Practical Guide for Text Analysis Through Iterative Collaboration with LLMs [0.7255608805275865]
  本稿では,LLMを用いた非構造化データの効率的な開発,テスト,適用のためのステップバイステップチュートリアルを提案する。 我々は,データセットをレビューし,生命ドメインの分類を作成,即時かつ直接的な修正を通じて分類を評価・洗練し,分類を検証し,インターコーダ契約を評価し,データセット全体を高いインターコーダ信頼性で分類する手法を実証する。
  論文  参考訳（メタデータ） (2025-05-14T18:32:18Z)
• LLMs as Data Annotators: How Close Are We to Human Performance [47.61698665650761]
  データのマニュアルアノテーションは、労働集約的で、時間がかかり、コストがかかる。 In-context Learning (ICL) では、タスクに関連するいくつかの例がプロンプトで与えられると、非効率性や準最適モデルの性能につながる可能性がある。 本稿では,NERタスクの様々なデータセットに対して,異なる埋め込みモデルを考慮した複数のLLMの比較実験を行う。
  論文  参考訳（メタデータ） (2025-04-21T11:11:07Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Large Language Models as Financial Data Annotators: A Study on Effectiveness and Efficiency [13.561104321425045]
  LLM(Large Language Models)は、一般的なドメインデータセット上のデータアノテーションタスクにおいて、顕著なパフォーマンスを示す。 金融文書中の関係を抽出するための効率的なデータアノテータとしてのLCMの可能性について検討する。 我々は,現在最先端のLLMが,非熟練のクラウドワーカーに十分な代替手段であることを実証した。
  論文  参考訳（メタデータ） (2024-03-26T23:32:52Z)
• Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
  本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。 LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。