論文の概要: Improving annotator selection in Active Learning using a mood and fatigue-aware Recommender System

• arxiv url: http://arxiv.org/abs/2507.23756v1
• Date: Thu, 31 Jul 2025 17:41:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 17:19:10.138461
• Title: Improving annotator selection in Active Learning using a mood and fatigue-aware Recommender System
• Title（参考訳）: 気分と疲労を考慮したレコメンダシステムを用いたアクティブラーニングにおけるアノテータ選択の改善
• Authors: Diana Mortagua,
• Abstract要約: 本研究は,アクティブラーニング(AL)におけるクエリ毎に最適なアノテータを選択することの課題を克服することに焦点を当てる。 ALはラベル付きデータを取得する際のコストと時間に関連する課題を認識し、ラベル付きデータの数を削減します。 クエリアノテータペアの戦略の多くは、ムード、注意、モチベーション、疲労レベルといった生産性に影響を与える内部要因を考慮していない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study centers on overcoming the challenge of selecting the best annotators for each query in Active Learning (AL), with the objective of minimizing misclassifications. AL recognizes the challenges related to cost and time when acquiring labeled data, and decreases the number of labeled data needed. Nevertheless, there is still the necessity to reduce annotation errors, aiming to be as efficient as possible, to achieve the expected accuracy faster. Most strategies for query-annotator pairs do not consider internal factors that affect productivity, such as mood, attention, motivation, and fatigue levels. This work addresses this gap in the existing literature, by not only considering how the internal factors influence annotators (mood and fatigue levels) but also presenting a new query-annotator pair strategy, using a Knowledge-Based Recommendation System (RS). The RS ranks the available annotators, allowing to choose one or more to label the queried instance using their past accuracy values, and their mood and fatigue levels, as well as information about the instance queried. This work bases itself on existing literature on mood and fatigue influence on human performance, simulating annotators in a realistic manner, and predicting their performance with the RS. The results show that considering past accuracy values, as well as mood and fatigue levels reduces the number of annotation errors made by the annotators, and the uncertainty of the model through its training, when compared to not using internal factors. Accuracy and F1-score values were also better in the proposed approach, despite not being as substantial as the aforementioned. The methodologies and findings presented in this study begin to explore the open challenge of human cognitive factors affecting AL.
• Abstract（参考訳）: 本研究は, 誤り分類の最小化を目的として, アクティブラーニング(AL)におけるクエリ毎に最適なアノテータを選択するという課題を克服することに焦点を当てる。 ALはラベル付きデータを取得する際のコストと時間に関連する課題を認識し、ラベル付きデータの数を削減します。 それでも、予想される精度を早く達成するためには、可能な限り効率的なアノテーションエラーを減らす必要がある。 クエリアノテータペアの戦略の多くは、ムード、注意、モチベーション、疲労レベルといった生産性に影響を与える内部要因を考慮していない。 この研究は、内部要因がアノテータ(ムードと疲労レベル)にどのように影響するかを考えるだけでなく、知識ベースのレコメンデーションシステム(RS)を使用して、新しいクエリとアノテータのペア戦略を示すことによって、既存の文献のこのギャップに対処する。 RSは利用可能なアノテータをランク付けし、過去の精度値と、そのムードと疲労レベルと、クエリされたインスタンスに関する情報を使用して、クエリされたインスタンスにラベルを付けることができる。 この研究は、既存のムードと疲労が人間のパフォーマンスに与える影響、アノテータを現実的な方法でシミュレートし、彼らのパフォーマンスをRSで予測することに基づく。 その結果、過去の精度値や気分や疲労レベルを考慮すると、アノテータによるアノテーションエラーの数や、内部要因を使用しない場合のトレーニングによるモデルの不確かさが減少することがわかった。 上記の値ほど大きくないにもかかわらず、提案手法では精度とF1スコア値も良好であった。 本研究で示された方法論と知見は、ALに影響を与える人間の認知因子のオープンチャレンジを探求し始める。

関連論文リスト

• Leveraging AI Graders for Missing Score Imputation to Achieve Accurate Ability Estimation in Constructed-Response Tests [0.6445605125467574]
  項目応答理論(IRT)は、不完全なスコアデータから能力の推定を可能にすることで、有望なソリューションを提供する。 失うスコアの割合が増加するにつれて、能力推定の精度は低下する。 本研究は, 自動スコアリング技術を利用して, 欠落点を計算するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-06-25T04:17:57Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Navigating the Pitfalls of Active Learning Evaluation: A Systematic Framework for Meaningful Performance Assessment [3.3064235071867856]
  アクティブラーニング(AL)は、ラベルなしデータのプールから最も情報性の高いサンプルをインタラクティブに選択することで、ラベル付けの負担を軽減することを目的としている。 半教師型(Semi-SL)や自己教師型学習(Self-SL)のような新興パラダイムと比較して、ALの有効性を疑問視する研究もある。
  論文  参考訳（メタデータ） (2023-01-25T15:07:44Z)
• Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
  ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-20T19:29:37Z)
• Differentiating Student Feedbacks for Knowledge Tracing [28.669001606806525]
  本稿では,訓練における評価に基づいて,様々な反応の寄与を再重み付けする枠組みを提案する。 また,判別応答の少ない精度を維持するために,適応的な予測スコア融合手法を導入する。
  論文  参考訳（メタデータ） (2022-12-16T13:55:07Z)
• ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
  本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。 まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。 最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
  論文  参考訳（メタデータ） (2022-07-14T17:46:37Z)
• ALLSH: Active Learning Guided by Local Sensitivity and Hardness [98.61023158378407]
  本稿では,局所感度と硬度認識獲得機能を備えたラベル付きサンプルの検索を提案する。 本手法は,様々な分類タスクにおいてよく用いられるアクティブラーニング戦略よりも一貫した利得が得られる。
  論文  参考訳（メタデータ） (2022-05-10T15:39:11Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。