論文の概要: Evaluating the Impact of LLM-Assisted Annotation in a Perspectivized Setting: the Case of FrameNet Annotation

• arxiv url: http://arxiv.org/abs/2510.25904v1
• Date: Wed, 29 Oct 2025 19:13:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.546032
• Title: Evaluating the Impact of LLM-Assisted Annotation in a Perspectivized Setting: the Case of FrameNet Annotation
• Title（参考訳）: パースペクティブ・セッティングにおけるLCM支援アノテーションの効果評価 : FrameNetアノテーションの場合
• Authors: Frederico Belcavello, Ely Matos, Arthur Lorenzi, Lisandra Bonoto, Lívia Ruiz, Luiz Fernando Pereira, Victor Herbst, Yulla Navarro, Helen de Andrade Abreu, Lívia Dutra, Tiago Timponi Torrent,
• Abstract要約: LLMに基づくセマンティックロールラベルラを用いたFrameNetのようなセマンティックアノテーションの半自動化の評価について報告する。 その結果,ハイブリッドな半自動アノテーション設定は,人間のみの設定と比較して,フレームの多様性と類似したアノテーションカバレッジを増大させることがわかった。
• 参考スコア（独自算出の注目度）: 3.182130576938461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The use of LLM-based applications as a means to accelerate and/or substitute human labor in the creation of language resources and dataset is a reality. Nonetheless, despite the potential of such tools for linguistic research, comprehensive evaluation of their performance and impact on the creation of annotated datasets, especially under a perspectivized approach to NLP, is still missing. This paper contributes to reduction of this gap by reporting on an extensive evaluation of the (semi-)automatization of FrameNet-like semantic annotation by the use of an LLM-based semantic role labeler. The methodology employed compares annotation time, coverage and diversity in three experimental settings: manual, automatic and semi-automatic annotation. Results show that the hybrid, semi-automatic annotation setting leads to increased frame diversity and similar annotation coverage, when compared to the human-only setting, while the automatic setting performs considerably worse in all metrics, except for annotation time.
• Abstract（参考訳）: 言語資源とデータセットの作成において、人間の労働を加速または置換する手段としてLLMベースのアプリケーションを使用することは現実である。 それにもかかわらず、言語研究のためのそのようなツールの可能性にもかかわらず、それらのパフォーマンスの包括的評価と、特にNLPに対するパースペクティブ化されたアプローチの下での注釈付きデータセットの作成への影響は、いまだに欠落している。 LLMに基づくセマンティック・ロール・ラベルラを用いてFrameNetのようなセマンティック・アノテーションを広範囲に評価し,このギャップの低減に寄与する。 この手法は、アノテーションの時間、カバレッジ、多様性を、3つの実験的な設定(手動、自動、半自動のアノテーション)で比較する。 その結果,ハイブリッドな半自動アノテーション設定は,人為的な設定に比べてフレームの多様性と類似したアノテーションカバレッジを増大させる一方,自動アノテーション設定はアノテーション時間を除くすべての指標において著しく悪化することがわかった。

関連論文リスト

• Are Multimodal Large Language Models Good Annotators for Image Tagging? [62.01475514488922]
  本稿では,MLLMの生成するアノテーションと人間のアノテーションのギャップを分析することを目的とする。 本稿では,MLLM生成アノテーションと人間のアノテーションのギャップを狭めることを目的とした,画像タグ付けのための新しいフレームワークであるTagLLMを提案する。
  論文  参考訳（メタデータ） (2026-02-24T14:53:16Z)
• Large Language Models as Automatic Annotators and Annotation Adjudicators for Fine-Grained Opinion Analysis [3.186130813218338]
  この作業では、宣言的なアノテーションパイプラインを使用して、テキスト中の詳細な意見を識別します。 LLM は自動アノテータやアジュディケータとして機能し,個々の LLM ベースのアノテータ間で高いアノテータ間合意を実現する。 これにより、これらの微粒な意見アノテートデータセットを作成するのに必要なコストと人的労力が削減される。
  論文  参考訳（メタデータ） (2026-01-23T14:52:56Z)
• Utility-Focused LLM Annotation for Retrieval and Retrieval-Augmented Generation [96.18720164390699]
  本稿では,大規模言語モデル (LLM) を用いた検索・検索・拡張生成システム (RAG) の訓練における文書ユーティリティのアノテートについて検討する。 以上の結果から,LLM生成アノテーションは,人間のアノテーションや下流QAメトリクスのみを訓練したモデルと比較して,ドメイン外検索性能の向上とRAG結果の改善を図っている。
  論文  参考訳（メタデータ） (2025-04-07T16:05:52Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• Refining Sentence Embedding Model through Ranking Sentences Generation with Large Language Models [60.00178316095646]
  多くのNLPタスクには文の埋め込みが不可欠であり、NLIのようなデータセットを使用して強いパフォーマンスを達成する対照的な学習方法がある。 近年の研究では、大きな言語モデル(LLM)を利用して文ペアを生成し、アノテーション依存を減らしている。 本稿では,潜在空間におけるLLMの生成方向を制御する手法を提案する。 複数のベンチマークによる実験により,本手法は文合成に要するコストを最小限に抑えつつ,新たなSOTA性能を実現することを示した。
  論文  参考訳（メタデータ） (2025-02-19T12:07:53Z)
• UniSumEval: Towards Unified, Fine-Grained, Multi-Dimensional Summarization Evaluation for LLMs [19.097842830790405]
  要約品質評価のための既存のベンチマークでは、様々な入力シナリオが欠如し、狭い範囲に集中することが多い。 We create UniSumEval benchmark, which extends the range of input context and provide fine-fine, multi-dimensional annotations。
  論文  参考訳（メタデータ） (2024-09-30T02:56:35Z)
• Enhancing Text Classification through LLM-Driven Active Learning and Human Annotation [2.0411082897313984]
  本研究では,人間のアノテータと大規模言語モデルを統合する新しい手法を提案する。 提案フレームワークは, モデルの不確実性レベルに応じて, 人間のアノテーションとLLMの出力を統合する。 実験結果から, モデル精度の維持・改善を図りながら, データアノテーションに関連するコストを大幅に削減した。
  論文  参考訳（メタデータ） (2024-06-17T21:45:48Z)
• Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
  生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。 自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。 本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:46:02Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)
• Assisted Text Annotation Using Active Learning to Achieve High Quality with Little Effort [9.379650501033465]
  研究者は、手動の注釈だけで、大規模で高品質な注釈付きデータセットを作成できるツールを提案する。 我々は、アクティブラーニング(AL)アプローチと事前訓練された言語モデルを組み合わせて、アノテーションカテゴリを半自動で識別する。 予備的な結果から,ALを用いることで,複雑なフレームや微妙なフレームを正しく分類するアノテーションの数が大幅に削減されることがわかった。
  論文  参考訳（メタデータ） (2021-12-15T13:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。