論文の概要: Human-in-the-Loop Annotation for Image-Based Engagement Estimation: Assessing the Impact of Model Reliability on Annotation Accuracy

• arxiv url: http://arxiv.org/abs/2502.07404v1
• Date: Tue, 11 Feb 2025 09:37:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:08:48.191717
• Title: Human-in-the-Loop Annotation for Image-Based Engagement Estimation: Assessing the Impact of Model Reliability on Annotation Accuracy
• Title（参考訳）: 画像ベースエンゲージメント推定のためのHuman-in-the-Loopアノテーション:アノテーション精度に及ぼすモデル信頼性の影響の評価
• Authors: Sahana Yadnakudige Subramanya, Ko Watanabe, Andreas Dengel, Shoya Ishimaru,
• Abstract要約: 本研究では,ハイパフォーマンスなイメージベース感情モデルをHITLアノテーションフレームワークに統合する。 モデル信頼性および認知フレーミングの変化が、人間の信頼、認知負荷、アノテーション行動にどのように影響するかを検討する。 人間の監視と自動システムの強みを活用することにより、感情アノテーションのためのスケーラブルなHITLフレームワークを確立する。
• 参考スコア（独自算出の注目度）: 5.862907885873446
• License:
• Abstract: Human-in-the-loop (HITL) frameworks are increasingly recognized for their potential to improve annotation accuracy in emotion estimation systems by combining machine predictions with human expertise. This study focuses on integrating a high-performing image-based emotion model into a HITL annotation framework to evaluate the collaborative potential of human-machine interaction and identify the psychological and practical factors critical to successful collaboration. Specifically, we investigate how varying model reliability and cognitive framing influence human trust, cognitive load, and annotation behavior in HITL systems. We demonstrate that model reliability and psychological framing significantly impact annotators' trust, engagement, and consistency, offering insights into optimizing HITL frameworks. Through three experimental scenarios with 29 participants--baseline model reliability (S1), fabricated errors (S2), and cognitive bias introduced by negative framing (S3)--we analyzed behavioral and qualitative data. Reliable predictions in S1 yielded high trust and annotation consistency, while unreliable outputs in S2 led to increased critical evaluations but also heightened frustration and response variability. Negative framing in S3 revealed how cognitive bias influenced participants to perceive the model as more relatable and accurate, despite misinformation regarding its reliability. These findings highlight the importance of both reliable machine outputs and psychological factors in shaping effective human-machine collaboration. By leveraging the strengths of both human oversight and automated systems, this study establishes a scalable HITL framework for emotion annotation and lays the foundation for broader applications in adaptive learning and human-computer interaction.
• Abstract（参考訳）: ヒューマン・イン・ザ・ループ(Human-in-the-loop, HITL)フレームワークは, 感情推定システムにおいて, 機械予測と人間の専門知識を組み合わせることにより, アノテーションの精度を向上させる可能性が高まっている。 本研究では、ハイパフォーマンスなイメージベース感情モデルをHITLアノテーションフレームワークに統合し、人間と機械の相互作用の協調可能性を評価し、コラボレーションの成功に不可欠な心理的・実践的要因を特定することに焦点を当てる。 具体的には、HITLシステムにおけるモデル信頼性と認知フレーミングの変化が、人間の信頼、認知負荷、およびアノテーションの挙動にどのように影響するかを検討する。 我々は、モデル信頼性と心理的フレーミングがアノテータの信頼、エンゲージメント、一貫性に大きな影響を与え、HITLフレームワークの最適化に関する洞察を提供することを示した。 29人の参加者による3つの実験シナリオ(ベースラインモデル信頼性(S1)、製造誤差(S2)、ネガティブフレーミング(S3)による認知バイアス(S3))を通して、行動的および質的なデータを分析した。 S1の信頼性予測は高い信頼とアノテーションの整合性を示し、S2の信頼性の低い出力は批判的評価を増大させたが、フラストレーションと応答のばらつきも高めた。 S3の否定的なフレーミングは、その信頼性に関する誤った情報にもかかわらず、認知バイアスが参加者にどのように影響し、モデルをより相対的で正確に知覚するかを明らかにした。 これらの結果は,人間と機械の協調を効果的に形成する上で,信頼性の高い機械出力と心理的要因の両方の重要性を浮き彫りにした。 本研究は、人間の監視と自動システムの長所を活用することにより、感情アノテーションのためのスケーラブルなHITLフレームワークを確立し、適応学習と人間とコンピュータの相互作用における幅広い応用の基礎を築いた。

関連論文リスト

• KRAIL: A Knowledge-Driven Framework for Base Human Reliability Analysis Integrating IDHEAS and Large Language Models [2.7378790256389047]
  本稿では,IDHEASとLLM(KRAIL)を統合した知識駆動型信頼性分析のための新しい2段階フレームワークを提案する。 本稿では,自然言語処理における大規模言語モデル(LLM)の成功に触発されて,知識駆動型信頼性分析のための新しい2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-20T06:21:34Z)
• ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
  生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。 認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。 本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
  論文  参考訳（メタデータ） (2024-05-28T22:45:28Z)
• Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
  誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。 既存の感受性研究は、自己報告された信念に大きく依存している。 本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
  論文  参考訳（メタデータ） (2023-11-16T07:22:56Z)
• Why not both? Complementing explanations with uncertainty, and the role of self-confidence in Human-AI collaboration [12.47276164048813]
  本研究では,不確実性評価とモデル説明がモデルに対するユーザの信頼,理解,信頼にどのように影響するかを明らかにするための実証的研究を行う。 また,合意と切り換え率に基づいて,後者が分析結果を歪める可能性についても論じる。
  論文  参考訳（メタデータ） (2023-04-27T12:24:33Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)
• Enhancing Model Robustness and Fairness with Causality: A Regularization Approach [15.981724441808147]
  最近の研究は、機械学習モデルにおける急激な相関と意図しないバイアスのリスクを懸念している。 モデルトレーニング中に因果知識を統合するためのシンプルで直感的な正規化手法を提案する。 因果的特徴に依存し、因果的でない特徴に依存しない予測モデルを構築します。
  論文  参考訳（メタデータ） (2021-10-03T02:49:33Z)
• Towards Unbiased Visual Emotion Recognition via Causal Intervention [63.74095927462]
  本稿では,データセットバイアスによる負の効果を軽減するために,新しい感情認識ネットワーク(IERN)を提案する。 IERNの有効性を検証する一連の設計されたテストと、3つの感情ベンチマークの実験は、IERNが他の最先端のアプローチよりも優れていることを示した。
  論文  参考訳（メタデータ） (2021-07-26T10:40:59Z)
• Expertise and confidence explain how social influence evolves along intellective tasks [10.525352489242396]
  本研究では,知的なタスクの連続を集団的に実行する個人集団における対人的影響について検討する。 本稿では, 過渡記憶系の理論, 社会的比較, 社会的影響の起源に関する信頼に関する実証的証拠を報告する。 これらの理論にインスパイアされた認知力学モデルを提案し、個人が時間とともに対人的影響を調整する過程を記述する。
  論文  参考訳（メタデータ） (2020-11-13T23:48:25Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。