論文の概要: Large Language Models as Automatic Annotators and Annotation Adjudicators for Fine-Grained Opinion Analysis
- arxiv url: http://arxiv.org/abs/2601.16800v1
- Date: Fri, 23 Jan 2026 14:52:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-26 14:27:27.728397
- Title: Large Language Models as Automatic Annotators and Annotation Adjudicators for Fine-Grained Opinion Analysis
- Title（参考訳）: ファイングラインドオピニオン分析のための自動アノテーションとアノテーション適応子としての大規模言語モデル
- Authors: Gaurav Negi, MA Waskow, Paul Buitelaar,
- Abstract要約: この作業では、宣言的なアノテーションパイプラインを使用して、テキスト中の詳細な意見を識別します。
LLM は自動アノテータやアジュディケータとして機能し,個々の LLM ベースのアノテータ間で高いアノテータ間合意を実現する。
これにより、これらの微粒な意見アノテートデータセットを作成するのに必要なコストと人的労力が削減される。
- 参考スコア（独自算出の注目度）: 3.186130813218338
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-grained opinion analysis of text provides a detailed understanding of expressed sentiments, including the addressed entity. Although this level of detail is sound, it requires considerable human effort and substantial cost to annotate opinions in datasets for training models, especially across diverse domains and real-world applications. We explore the feasibility of LLMs as automatic annotators for fine-grained opinion analysis, addressing the shortage of domain-specific labelled datasets. In this work, we use a declarative annotation pipeline. This approach reduces the variability of manual prompt engineering when using LLMs to identify fine-grained opinion spans in text. We also present a novel methodology for an LLM to adjudicate multiple labels and produce final annotations. After trialling the pipeline with models of different sizes for the Aspect Sentiment Triplet Extraction (ASTE) and Aspect-Category-Opinion-Sentiment (ACOS) analysis tasks, we show that LLMs can serve as automatic annotators and adjudicators, achieving high Inter-Annotator Agreement across individual LLM-based annotators. This reduces the cost and human effort needed to create these fine-grained opinion-annotated datasets.
- Abstract（参考訳）: テキストのきめ細かい意見分析は、言及された実体を含む表現された感情の詳細な理解を提供する。
このレベルの詳細は健全だが、トレーニングモデルのデータセット、特にさまざまなドメインや現実世界のアプリケーションにおいて、意見に注釈をつけるには相当な人的労力と相当なコストが必要である。
ドメイン固有のラベル付きデータセットの不足に対処する,詳細な意見分析のための自動アノテータとしてのLCMの実現可能性について検討する。
この作業では、宣言的なアノテーションパイプラインを使用します。
このアプローチは、テキスト中の微粒な意見を識別するためにLLMを使用する場合、手動プロンプトエンジニアリングのばらつきを低減する。
また,複数のラベルを調整し,最終的なアノテーションを生成するLLMの新しい手法を提案する。
Aspect Sentiment Triplet extract (ASTE) と Aspect-Category-Opinion-Sentiment (ACOS) 分析タスクの異なるサイズのモデルでパイプラインを検証した結果,LSM が自動アノテータおよびアジュディケータとして機能し,個々のLCM ベースのアノテータ間で高いアノテータ契約を実現することを示す。
これにより、これらの微粒な意見アノテートデータセットを作成するのに必要なコストと人的労力が削減される。
関連論文リスト
- Are Multimodal Large Language Models Good Annotators for Image Tagging? [62.01475514488922]
本稿では,MLLMの生成するアノテーションと人間のアノテーションのギャップを分析することを目的とする。
本稿では,MLLM生成アノテーションと人間のアノテーションのギャップを狭めることを目的とした,画像タグ付けのための新しいフレームワークであるTagLLMを提案する。
論文 参考訳（メタデータ） (2026-02-24T14:53:16Z) - IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。
エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。
最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
論文 参考訳（メタデータ） (2025-05-23T09:37:52Z) - An AI-Powered Research Assistant in the Lab: A Practical Guide for Text Analysis Through Iterative Collaboration with LLMs [0.7255608805275865]
本稿では,LLMを用いた非構造化データの効率的な開発,テスト,適用のためのステップバイステップチュートリアルを提案する。
我々は,データセットをレビューし,生命ドメインの分類を作成,即時かつ直接的な修正を通じて分類を評価・洗練し,分類を検証し,インターコーダ契約を評価し,データセット全体を高いインターコーダ信頼性で分類する手法を実証する。
論文 参考訳（メタデータ） (2025-05-14T18:32:18Z) - SCAN: Structured Capability Assessment and Navigation for LLMs [54.54085382131134]
textbfSCAN (Structured Capability Assessment and Navigation) は、大規模言語モデルの詳細な特徴付けを可能にする実用的なフレームワークである。
SCANには4つの重要なコンポーネントが含まれている。
TaxBuilder – クエリから機能表示タグを抽出して階層的な分類構造を構築する。
RealMixは、各機能タグに対する十分な評価データを保証するクエリ合成とフィルタリングのメカニズムである。
PC$2$ベースのLCM-as-a-Judge法は従来のLCM-as-a-Judge法と比較して大幅に精度が向上する
論文 参考訳（メタデータ） (2025-05-10T16:52:40Z) - LLMs as Data Annotators: How Close Are We to Human Performance [47.61698665650761]
データのマニュアルアノテーションは、労働集約的で、時間がかかり、コストがかかる。
In-context Learning (ICL) では、タスクに関連するいくつかの例がプロンプトで与えられると、非効率性や準最適モデルの性能につながる可能性がある。
本稿では,NERタスクの様々なデータセットに対して,異なる埋め込みモデルを考慮した複数のLLMの比較実験を行う。
論文 参考訳（メタデータ） (2025-04-21T11:11:07Z) - Utility-Focused LLM Annotation for Retrieval and Retrieval-Augmented Generation [96.18720164390699]
本稿では,大規模言語モデル (LLM) を用いた検索・検索・拡張生成システム (RAG) の訓練における文書ユーティリティのアノテートについて検討する。
以上の結果から,LLM生成アノテーションは,人間のアノテーションや下流QAメトリクスのみを訓練したモデルと比較して,ドメイン外検索性能の向上とRAG結果の改善を図っている。
論文 参考訳（メタデータ） (2025-04-07T16:05:52Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - Large Language Models as Financial Data Annotators: A Study on Effectiveness and Efficiency [13.561104321425045]
LLM(Large Language Models)は、一般的なドメインデータセット上のデータアノテーションタスクにおいて、顕著なパフォーマンスを示す。
金融文書中の関係を抽出するための効率的なデータアノテータとしてのLCMの可能性について検討する。
我々は,現在最先端のLLMが,非熟練のクラウドワーカーに十分な代替手段であることを実証した。
論文 参考訳（メタデータ） (2024-03-26T23:32:52Z) - Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。
LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
論文 参考訳（メタデータ） (2024-02-21T00:44:04Z) - Can Large Language Models Design Accurate Label Functions? [14.32722091664306]
プログラム弱監督手法はラベル関数(LF)を用いて広範囲なデータセットの高速なラベル付けを容易にする
プレトレーニング言語モデル(PLM)の最近の進歩は、様々なタスクにおいて大きな可能性を秘めている。
本研究では,LFの自動生成にPLMを利用するインタラクティブなフレームワークであるDataSculptを紹介する。
論文 参考訳（メタデータ） (2023-11-01T15:14:46Z) - ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。
本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。
我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文 参考訳（メタデータ） (2023-10-19T06:37:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。