論文の概要: Fearful Falcons and Angry Llamas: Emotion Category Annotations of Arguments by Humans and LLMs
- arxiv url: http://arxiv.org/abs/2412.15993v1
- Date: Fri, 20 Dec 2024 15:41:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-23 16:24:12.867015
- Title: Fearful Falcons and Angry Llamas: Emotion Category Annotations of Arguments by Humans and LLMs
- Title(参考訳): Fearful Falcons and Angry Llamas: Emotion Category Annotations of Arguments by Humans and LLMs
- Authors: Lynn Greschner, Roman Klinger,
- Abstract要約: 我々は,ドイツの議論コーパスにおける感情カテゴリーの主観的アノテーションをクラウドソースし,自動ラベリング手法を評価する。
感情カテゴリーは議論における感情の予測を促進する。
すべてのプロンプト設定とモデルにおいて、自動予測は、怒りと恐怖を予測するための高いリコールだが低い精度を示す。
- 参考スコア(独自算出の注目度): 9.088303226909277
- License:
- Abstract: Arguments evoke emotions, influencing the effect of the argument itself. Not only the emotional intensity but also the category influence the argument's effects, for instance, the willingness to adapt stances. While binary emotionality has been studied in arguments, there is no work on discrete emotion categories (e.g., "Anger") in such data. To fill this gap, we crowdsource subjective annotations of emotion categories in a German argument corpus and evaluate automatic LLM-based labeling methods. Specifically, we compare three prompting strategies (zero-shot, one-shot, chain-of-thought) on three large instruction-tuned language models (Falcon-7b-instruct, Llama-3.1-8B-instruct, GPT-4o-mini). We further vary the definition of the output space to be binary (is there emotionality in the argument?), closed-domain (which emotion from a given label set is in the argument?), or open-domain (which emotion is in the argument?). We find that emotion categories enhance the prediction of emotionality in arguments, emphasizing the need for discrete emotion annotations in arguments. Across all prompt settings and models, automatic predictions show a high recall but low precision for predicting anger and fear, indicating a strong bias toward negative emotions.
- Abstract(参考訳): 論証は感情を喚起し、論証自体の効果に影響を与える。
感情的な強さだけでなく、カテゴリーは議論の効果、例えば、スタンスに適応する意志に影響を及ぼす。
二項情動性は議論において研究されているが、そのようなデータにおける個別の感情カテゴリー(例えば「怒り」)についての研究は行われていない。
このギャップを埋めるために、ドイツの議論コーパスにおける感情カテゴリーの主観的アノテーションをクラウドソースし、LLMに基づく自動ラベリング手法を評価する。
具体的には、Falcon-7b-インストラクト、Llama-3.1-8B-インストラクト、GPT-4o-miniの3つの大きな命令チューニング言語モデル(Falcon-7b-インストラクト、Llama-3.1-8B-インストラクト、GPT-4o-mini)における3つのプロンプト戦略(ゼロショット、ワンショット、チェーン・オブ・インストラクション)を比較した。
出力空間の定義はさらに、バイナリ(引数に感情性があるのか?)、クローズドドメイン(ラベルセットからの感情は引数にあるのか?)、オープンドメイン(どの感情が引数にあるのか?
感情カテゴリーは、議論における感情の予測を促進させ、議論における個別の感情アノテーションの必要性を強調している。
すべてのプロンプト設定とモデルにおいて、自動予測は怒りと恐怖を予測するための高いリコールだが低い精度を示し、否定的な感情に対する強い偏見を示している。
関連論文リスト
- Emotion Rendering for Conversational Speech Synthesis with Heterogeneous
Graph-Based Context Modeling [50.99252242917458]
会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。
データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。
我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
論文 参考訳(メタデータ) (2023-12-19T08:47:50Z) - Language Models (Mostly) Do Not Consider Emotion Triggers When Predicting Emotion [87.18073195745914]
人間の感情が感情の予測において有意であると考えられる特徴とどのように相関するかを検討する。
EmoTriggerを用いて、感情のトリガーを識別する大規模言語モデルの能力を評価する。
分析の結果、感情のトリガーは感情予測モデルにとって健全な特徴ではなく、様々な特徴と感情検出のタスクの間に複雑な相互作用があることが判明した。
論文 参考訳(メタデータ) (2023-11-16T06:20:13Z) - Where are We in Event-centric Emotion Analysis? Bridging Emotion Role
Labeling and Appraisal-based Approaches [10.736626320566707]
テキストにおける感情分析という用語は、様々な自然言語処理タスクを仮定する。
感情と出来事は2つの方法で関連していると我々は主張する。
我々は,NLPモデルに心理的評価理論を組み込んで事象を解釈する方法について議論する。
論文 参考訳(メタデータ) (2023-09-05T09:56:29Z) - Emotion Flip Reasoning in Multiparty Conversations [27.884015521888458]
Instigator based Emotion Flip Reasoning (EFR) は、会話の中で話者の感情のフリップの背後にある侵入者を特定することを目的としている。
本報告では,感情心理学に則った基盤構造ERFインスティゲータラベルを含むデータセットであるMELD-Iについて述べる。
我々は,TransformerエンコーダとスタックGRUを利用して対話コンテキストをキャプチャする,TGIFと呼ばれる新しいニューラルアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-06-24T13:22:02Z) - Speech Emotion Diarization: Which Emotion Appears When? [11.84193589275529]
音声感情のきめ細かい性質を反映した音声感情ダイアリゼーション(SED)を提案する。
話者ダイアリゼーションが「誰がいつ話すのか?」という問いに答えるのと同じように、音声感情ダイアリゼーションは「いつ感情が現れるのか?」という問いに答える。
論文 参考訳(メタデータ) (2023-06-22T15:47:36Z) - Experiencer-Specific Emotion and Appraisal Prediction [13.324006587838523]
NLPにおける感情分類は、文章や段落などの感情をテキストに割り当てる。
イベントの経験に焦点を合わせ、各イベントに感情(もしあれば)を割り当てます。
経験者の感情と評価のモデルが経験者に依存しないベースラインより優れています。
論文 参考訳(メタデータ) (2022-10-21T16:04:27Z) - Speech Synthesis with Mixed Emotions [77.05097999561298]
異なる感情の音声サンプル間の相対的な差を測定する新しい定式化を提案する。
次に、私たちの定式化を、シーケンスからシーケンスまでの感情的なテキストから音声へのフレームワークに組み込む。
実行時に、感情属性ベクトルを手動で定義し、所望の感情混合を生成するためにモデルを制御する。
論文 参考訳(メタデータ) (2022-08-11T15:45:58Z) - Emotion Intensity and its Control for Emotional Voice Conversion [77.05097999561298]
感情音声変換(EVC)は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変換しようとする。
本稿では,感情の強さを明示的に表現し,制御することを目的とする。
本稿では,話者スタイルを言語内容から切り離し,連続した空間に埋め込み,感情埋め込みのプロトタイプを形成するスタイルに符号化することを提案する。
論文 参考訳(メタデータ) (2022-01-10T02:11:25Z) - Perspective-taking and Pragmatics for Generating Empathetic Responses
Focused on Emotion Causes [50.569762345799354]
i) 相手の感情が発話から引き起こされる原因となる単語を特定することと, (ii) 応答生成における特定の単語を反映することである。
社会的認知からインスピレーションを得て、生成的推定を用いて、感情が単語レベルのラベルのない発話から単語を推論する。
論文 参考訳(メタデータ) (2021-09-18T04:22:49Z) - A Circular-Structured Representation for Visual Emotion Distribution
Learning [82.89776298753661]
視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。
具体的には、まず感情圏を構築し、その内にある感情状態を統一する。
提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
論文 参考訳(メタデータ) (2021-06-23T14:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。