論文の概要: How Annotation Trains Annotators: Competence Development in Social Influence Recognition

• arxiv url: http://arxiv.org/abs/2604.02951v1
• Date: Fri, 03 Apr 2026 10:32:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.44858
• Title: How Annotation Trains Annotators: Competence Development in Social Influence Recognition
• Title（参考訳）: アノテーションの訓練方法:社会的影響認識における能力開発
• Authors: Maciej Markiewicz, Beata Bajcar, Wiktoria Mieleszczenko-Kowszewicz, Aleksander Szczęsny, Tomasz Adamczyk, Grzegorz Chodak, Karolina Ostrowska, Aleksandra Sawczuk, Jolanta Babiak, Jagoda Szklarczyk, Przemysław Kazienko,
• Abstract要約: 本研究では,社会的影響認識の過程における能力の観点から,アノテータの作業品質の変化について検討する。 この研究は、専門家と非専門家の両方を含む5つのグループから25人の注釈係が参加し、1,021の対話のデータセットに注釈を付けた。 その結果,アノテータの自己認識能力と自信の増大が示唆された。
• 参考スコア（独自算出の注目度）: 58.27352499161234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human data annotation, especially when involving experts, is often treated as an objective reference. However, many annotation tasks are inherently subjective, and annotators' judgments may evolve over time. This study investigates changes in the quality of annotators' work from a competence perspective during a process of social influence recognition. The study involved 25 annotators from five different groups, including both experts and non-experts, who annotated a dataset of 1,021 dialogues with 20 social influence techniques, along with intentions, reactions, and consequences. An initial subset of 150 texts was annotated twice - before and after the main annotation process - to enable comparison. To measure competence shifts, we combined qualitative and quantitative analyses of the annotated data, semi-structured interviews with annotators, self-assessment surveys, and Large Language Model training and evaluation on the comparison dataset. The results indicate a significant increase in annotators' self-perceived competence and confidence. Moreover, observed changes in data quality suggest that the annotation process may enhance annotator competence and that this effect is more pronounced in expert groups. The observed shifts in annotator competence have a visible impact on the performance of LLMs trained on their annotated data.
• Abstract（参考訳）: 人間のデータアノテーション、特に専門家が関わる場合、しばしば客観的な参照として扱われる。 しかし、多くのアノテーションタスクは本質的に主観的であり、アノテーションの判断は時間とともに進化する可能性がある。 本研究では,社会的影響認識の過程における能力の観点から,アノテータの作業品質の変化について検討する。 この研究には、専門家と非専門家の両方を含む5つのグループから25人の注釈者が参加し、意図、反応、結果とともに、20の社会的影響技術と1,021の対話のデータセットを注釈付けした。 150テキストの最初のサブセットは、メインのアノテーションプロセスの前と後の2回アノテートされ、比較が可能になった。 コンピテンスシフトを測定するために,注釈付きデータの質的および定量的分析,アノテータとの半構造化インタビュー,自己評価調査,大規模言語モデル学習と比較データセットの評価を行った。 その結果,アノテータの自己認識能力と自信の増大が示唆された。 さらに、データ品質の変化が観察された結果、アノテーションプロセスはアノテーションの能力を高め、この効果が専門家グループでより顕著になる可能性が示唆された。 観測されたアノテータ能力の変化は、アノテータデータに基づいて訓練されたLLMの性能に目に見える影響を及ぼす。

関連論文リスト

• Annotator in the Loop: A Case Study of In-Depth Rater Engagement to Create a Bridging Benchmark Dataset [1.825224193230824]
  本稿では,アノテーションのための新規かつ協調的かつ反復的なアノテーション手法について述べる。 以上の結果から,アノテータとの連携によりアノテーションの手法が強化されることが示唆された。
  論文  参考訳（メタデータ） (2024-08-01T19:11:08Z)
• Unveiling the Achilles' Heel of NLG Evaluators: A Unified Adversarial Framework Driven by Large Language Models [52.368110271614285]
  我々は,NLG評価器に対する新しいブラックボックス対逆フレームワークであるAdvEvalを紹介する。 AdvEvalは、人間と被害者の評価者との強い意見の相違をもたらすデータを生成するために特別に調整されている。 我々は,12名の被害者評価者と11名のNLGデータセットを用いて,対話,要約,質問評価などのタスクを分散した実験を行った。
  論文  参考訳（メタデータ） (2024-05-23T14:48:15Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• AQuA -- Combining Experts' and Non-Experts' Views To Assess Deliberation Quality in Online Discussions Using LLMs [0.9737366359397255]
  AQuAは、議論投稿ごとに複数の指標から統一された熟考品質スコアを算出する付加的なスコアである。 我々は,20の熟考指標に対する適応モデルを開発し,専門家のアノテーションと認識された熟考度との相関係数を非専門家によって計算し,各指標を1つの熟考スコアに重み付けする。
  論文  参考訳（メタデータ） (2024-04-03T14:07:02Z)
• Re-Examining Human Annotations for Interpretable NLP [80.81532239566992]
  我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。 我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。 以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
  論文  参考訳（メタデータ） (2022-04-10T02:27:30Z)
• Estimating Presentation Competence using Multimodal Nonverbal Behavioral Cues [7.340483819263093]
  社会的相互作用の多くの領域において、公的な講演やプレゼンテーション能力が重要な役割を担っている。 プレゼンテーション能力の効率的な開発を促進する1つのアプローチは、スピーチ中の人間の行動の自動分析である。 本研究では, 表情, ポーズベース, 音声関連機能など, さまざまな非言語行動手がかりの提示能力評価への寄与について検討する。
  論文  参考訳（メタデータ） (2021-05-06T13:09:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。