論文の概要: Evaluating the Impact of LLM-Assisted Annotation in a Perspectivized Setting: the Case of FrameNet Annotation

• arxiv url: http://arxiv.org/abs/2510.25904v1
• Date: Wed, 29 Oct 2025 19:13:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.546032
• Title: Evaluating the Impact of LLM-Assisted Annotation in a Perspectivized Setting: the Case of FrameNet Annotation
• Title（参考訳）: パースペクティブ・セッティングにおけるLCM支援アノテーションの効果評価 : FrameNetアノテーションの場合
• Authors: Frederico Belcavello, Ely Matos, Arthur Lorenzi, Lisandra Bonoto, Lívia Ruiz, Luiz Fernando Pereira, Victor Herbst, Yulla Navarro, Helen de Andrade Abreu, Lívia Dutra, Tiago Timponi Torrent,
• Abstract要約: LLMに基づくセマンティックロールラベルラを用いたFrameNetのようなセマンティックアノテーションの半自動化の評価について報告する。 その結果,ハイブリッドな半自動アノテーション設定は,人間のみの設定と比較して,フレームの多様性と類似したアノテーションカバレッジを増大させることがわかった。
• 参考スコア（独自算出の注目度）: 3.182130576938461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The use of LLM-based applications as a means to accelerate and/or substitute human labor in the creation of language resources and dataset is a reality. Nonetheless, despite the potential of such tools for linguistic research, comprehensive evaluation of their performance and impact on the creation of annotated datasets, especially under a perspectivized approach to NLP, is still missing. This paper contributes to reduction of this gap by reporting on an extensive evaluation of the (semi-)automatization of FrameNet-like semantic annotation by the use of an LLM-based semantic role labeler. The methodology employed compares annotation time, coverage and diversity in three experimental settings: manual, automatic and semi-automatic annotation. Results show that the hybrid, semi-automatic annotation setting leads to increased frame diversity and similar annotation coverage, when compared to the human-only setting, while the automatic setting performs considerably worse in all metrics, except for annotation time.
• Abstract（参考訳）: 言語資源とデータセットの作成において、人間の労働を加速または置換する手段としてLLMベースのアプリケーションを使用することは現実である。 それにもかかわらず、言語研究のためのそのようなツールの可能性にもかかわらず、それらのパフォーマンスの包括的評価と、特にNLPに対するパースペクティブ化されたアプローチの下での注釈付きデータセットの作成への影響は、いまだに欠落している。 LLMに基づくセマンティック・ロール・ラベルラを用いてFrameNetのようなセマンティック・アノテーションを広範囲に評価し,このギャップの低減に寄与する。 この手法は、アノテーションの時間、カバレッジ、多様性を、3つの実験的な設定(手動、自動、半自動のアノテーション)で比較する。 その結果,ハイブリッドな半自動アノテーション設定は,人為的な設定に比べてフレームの多様性と類似したアノテーションカバレッジを増大させる一方,自動アノテーション設定はアノテーション時間を除くすべての指標において著しく悪化することがわかった。

関連論文リスト

• Utility-Focused LLM Annotation for Retrieval and Retrieval-Augmented Generation [96.18720164390699]
  本稿では,大規模言語モデル (LLM) を用いた検索・検索・拡張生成システム (RAG) の訓練における文書ユーティリティのアノテートについて検討する。 以上の結果から,LLM生成アノテーションは,人間のアノテーションや下流QAメトリクスのみを訓練したモデルと比較して,ドメイン外検索性能の向上とRAG結果の改善を図っている。
  論文  参考訳（メタデータ） (2025-04-07T16:05:52Z)
• UniSumEval: Towards Unified, Fine-Grained, Multi-Dimensional Summarization Evaluation for LLMs [19.097842830790405]
  要約品質評価のための既存のベンチマークでは、様々な入力シナリオが欠如し、狭い範囲に集中することが多い。 We create UniSumEval benchmark, which extends the range of input context and provide fine-fine, multi-dimensional annotations。
  論文  参考訳（メタデータ） (2024-09-30T02:56:35Z)
• Enhancing Text Classification through LLM-Driven Active Learning and Human Annotation [2.0411082897313984]
  本研究では,人間のアノテータと大規模言語モデルを統合する新しい手法を提案する。 提案フレームワークは, モデルの不確実性レベルに応じて, 人間のアノテーションとLLMの出力を統合する。 実験結果から, モデル精度の維持・改善を図りながら, データアノテーションに関連するコストを大幅に削減した。
  論文  参考訳（メタデータ） (2024-06-17T21:45:48Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)
• Assisted Text Annotation Using Active Learning to Achieve High Quality with Little Effort [9.379650501033465]
  研究者は、手動の注釈だけで、大規模で高品質な注釈付きデータセットを作成できるツールを提案する。 我々は、アクティブラーニング(AL)アプローチと事前訓練された言語モデルを組み合わせて、アノテーションカテゴリを半自動で識別する。 予備的な結果から,ALを用いることで,複雑なフレームや微妙なフレームを正しく分類するアノテーションの数が大幅に削減されることがわかった。
  論文  参考訳（メタデータ） (2021-12-15T13:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。