論文の概要: Rethinking Emotion Annotations in the Era of Large Language Models

• arxiv url: http://arxiv.org/abs/2412.07906v1
• Date: Tue, 10 Dec 2024 20:30:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:03:01.374034
• Title: Rethinking Emotion Annotations in the Era of Large Language Models
• Title（参考訳）: 大規模言語モデルにおける感情アノテーションの再考
• Authors: Minxue Niu, Yara El-Tawil, Amrit Romana, Emily Mower Provost,
• Abstract要約: 大規模言語モデル(LLM)の文脈における感情アノテーションの複雑さを解析する。 実験では, GPT-4は人間の評価において高い評価を達成し, 前作よりも肯定的な絵を描いている。 ヒトの視点を保ちながらGPT-4の強さを活用するために,感情アノテーションパイプラインにGPT-4を統合する2つの方法を検討する。
• 参考スコア（独自算出の注目度）: 8.701939656132973
• License:
• Abstract: Modern affective computing systems rely heavily on datasets with human-annotated emotion labels, for training and evaluation. However, human annotations are expensive to obtain, sensitive to study design, and difficult to quality control, because of the subjective nature of emotions. Meanwhile, Large Language Models (LLMs) have shown remarkable performance on many Natural Language Understanding tasks, emerging as a promising tool for text annotation. In this work, we analyze the complexities of emotion annotation in the context of LLMs, focusing on GPT-4 as a leading model. In our experiments, GPT-4 achieves high ratings in a human evaluation study, painting a more positive picture than previous work, in which human labels served as the only ground truth. On the other hand, we observe differences between human and GPT-4 emotion perception, underscoring the importance of human input in annotation studies. To harness GPT-4's strength while preserving human perspective, we explore two ways of integrating GPT-4 into emotion annotation pipelines, showing its potential to flag low-quality labels, reduce the workload of human annotators, and improve downstream model learning performance and efficiency. Together, our findings highlight opportunities for new emotion labeling practices and suggest the use of LLMs as a promising tool to aid human annotation.
• Abstract（参考訳）: 現代の感情コンピューティングシステムは、トレーニングと評価のために人間の注釈付き感情ラベルを持つデータセットに大きく依存している。 しかしながら、人間のアノテーションは、感情の主観的な性質のため、入手しやすく、研究に敏感であり、品質管理が困難である。 一方、Large Language Models(LLM)は多くの自然言語理解タスクにおいて顕著なパフォーマンスを示しており、テキストアノテーションの有望なツールとして現れています。 本研究では,LPMの文脈における感情アノテーションの複雑さを解析し,GPT-4を主モデルとして考察する。 実験では, GPT-4は人間の評価研究において高い評価を達成し, 人間のラベルが唯一の根拠となる過去の作品よりも肯定的な絵を描いている。 一方,人間とGPT-4の感情知覚の違いを観察し,注釈研究における人間の入力の重要性を強調した。 人間の視点を保ちながらGPT-4の強みを活用するために、GPT-4を感情アノテーションパイプラインに統合する2つの方法を探り、低品質ラベルにフラグを付ける可能性を示し、人間のアノテータの負荷を低減し、下流モデル学習性能と効率を向上させる。 本研究は,新たな感情ラベル付けの実践の機会を明らかにするとともに,人間のアノテーションを支援するための有望なツールとしてLLMを使うことを提案する。

関連論文リスト

• MEMO-Bench: A Multiple Benchmark for Text-to-Image and Multimodal Large Language Models on Human Emotion Analysis [53.012111671763776]
  そこで本研究では、7,145枚の肖像画からなる総合的なベンチマークであるMEMO-Benchを紹介した。 以上の結果から,既存のT2Iモデルは負のモデルよりも肯定的な感情を生成するのに効果的であることが示唆された。 MLLMは人間の感情の識別と認識に一定の効果を示すが、人間のレベルの正確さには欠ける。
  論文  参考訳（メタデータ） (2024-11-18T02:09:48Z)
• From Text to Emotion: Unveiling the Emotion Annotation Capabilities of LLMs [12.199629860735195]
  我々は、GPT4と教師付きモデルと、人間のアノテーションとの一致、人間の知覚の一致、モデルトレーニングへの影響の3つの側面を比較した。 GPT-4の性能を過小評価する上で,人間アノテーションを基本事実として利用する一般的な指標が有効であることがわかった。
  論文  参考訳（メタデータ） (2024-08-30T05:50:15Z)
• GPT-4 Emulates Average-Human Emotional Cognition from a Third-Person Perspective [1.642094639107215]
  まず最初に、脳神経活動のパターンを見つけるために設計された感情誘発刺激を慎重に構築する。 以上の結果から, GPT-4は特に精度が高いことが示唆された。 GPT-4の解釈は,自己評価よりも,他者の感情に対する人間の判断と密接に一致していることがわかった。
  論文  参考訳（メタデータ） (2024-08-11T01:22:09Z)
• GPT as Psychologist? Preliminary Evaluations for GPT-4V on Visual Affective Computing [74.68232970965595]
  MLLM(Multimodal large language model)は、テキスト、音声、画像、ビデオなどの複数のソースからの情報を処理し、統合するように設計されている。 本稿では、視覚的情緒的タスクと推論タスクにまたがる5つの重要な能力を持つMLLMの適用性を評価する。
  論文  参考訳（メタデータ） (2024-03-09T13:56:25Z)
• Human vs. LMMs: Exploring the Discrepancy in Emoji Interpretation and Usage in Digital Communication [68.40865217231695]
  本研究は,ヒト型絵文字の複製におけるGPT-4Vの挙動について検討した。 この結果は、人間の解釈の主観的な性質から、人間とGPT-4Vの行動に明確な相違があることを示唆している。
  論文  参考訳（メタデータ） (2024-01-16T08:56:52Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• GPT-4V with Emotion: A Zero-shot Benchmark for Generalized Emotion Recognition [38.2581985358104]
  GPT-4 with Vision (GPT-4V) は、様々なタスクにおいて顕著な視覚能力を示すが、その感情認識性能は十分に評価されていない。 6つのタスクをカバーする21のベンチマークデータセットに対して,GPT-4Vの定量的評価結果を示す。
  論文  参考訳（メタデータ） (2023-12-07T13:27:37Z)
• What's Next in Affective Modeling? Large Language Models [3.0902630634005797]
  GPT-4は複数の感情タスクでうまく機能する。 感情理論を区別し、感情的な物語を思いつくことができる。 我々は、LLMが感情モデリングにおいて重要な役割を果たすことを示唆している。
  論文  参考訳（メタデータ） (2023-10-03T16:39:20Z)
• Large Language Models Understand and Can be Enhanced by Emotional Stimuli [53.53886609012119]
  我々は、感情的な刺激を理解するために、大規模言語モデルの能力を探究する第一歩を踏み出す。 実験の結果,LLMは感情的知能を把握でき,その性能は感情的刺激によって改善できることがわかった。 EmotionPromptが生成タスクの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-07-14T00:57:12Z)
• Does Conceptual Representation Require Embodiment? Insights From Large Language Models [9.390117546307042]
  ヒトとChatGPT(GPT-3.5およびGPT-4)の4,442の語彙概念の表現の比較 2) GPT-4 は GPT-3.5 よりも優れており,GPT-4 の利得は付加的な視覚学習と結びついており,触覚やイメージ容易性などの関連性にも寄与すると考えられる。
  論文  参考訳（メタデータ） (2023-05-30T15:06:28Z)
• Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
  本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。 本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。 本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
  論文  参考訳（メタデータ） (2021-04-20T16:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。