論文の概要: Emotion Ratings: How Intensity, Annotation Confidence and Agreements are Entangled

• arxiv url: http://arxiv.org/abs/2103.01667v1
• Date: Tue, 2 Mar 2021 12:04:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 02:25:59.517182
• Title: Emotion Ratings: How Intensity, Annotation Confidence and Agreements are Entangled
• Title（参考訳）: Emotion Ratings: 強度、アノテーションの信頼性、契約がどう絡み合っているか
• Authors: Enrica Troiano and Sebastian Pad\'o and Roman Klinger
• Abstract要約: 我々は,中性的な文と感情を持つ文を区別し,回答の信頼度を評価する。 信頼は、アノテーション間の不一致を近似する。 自信は感情の強さと相関している。
• 参考スコア（独自算出の注目度）: 12.162856871757311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When humans judge the affective content of texts, they also implicitly assess the correctness of such judgment, that is, their confidence. We hypothesize that people's (in)confidence that they performed well in an annotation task leads to (dis)agreements among each other. If this is true, confidence may serve as a diagnostic tool for systematic differences in annotations. To probe our assumption, we conduct a study on a subset of the Corpus of Contemporary American English, in which we ask raters to distinguish neutral sentences from emotion-bearing ones, while scoring the confidence of their answers. Confidence turns out to approximate inter-annotator disagreements. Further, we find that confidence is correlated to emotion intensity: perceiving stronger affect in text prompts annotators to more certain classification performances. This insight is relevant for modelling studies of intensity, as it opens the question wether automatic regressors or classifiers actually predict intensity, or rather human's self-perceived confidence.
• Abstract（参考訳）: 人間が文章の感情的内容を判断するとき、その判断の正しさ、すなわちその信頼度も暗黙的に評価する。 私たちは、アノテーションタスクでうまく機能したという人々の(in)自信が、お互いの合意(dis)につながると仮定します。 もしこれが本当なら、信頼はアノテーションの体系的な違いの診断ツールとなるかもしれない。 我々の仮定を調査するため、現代アメリカ英語コーパスのサブセットについて調査を行い、その回答の信頼度を評価しながら、中性文と感情を含む文を区別するようラッカーに求めた。 信頼は、アノテーション間の不一致を近似する。 さらに、テキストプロンプトアノテータの強い影響を知覚し、より特定の分類パフォーマンスを得るという、感情強度と信頼が相関していることがわかります。 この洞察は、自動回帰器や分類器が実際に強度を予測したり、むしろ人間の自己認識された自信を予測したりすることで、強度のモデリング研究に関係している。

関連論文リスト

• The Confidence-Competence Gap in Large Language Models: A Cognitive Study [3.757390057317548]
  大規模言語モデル(LLM)は、様々な領域にわたるパフォーマンスに対して、広く注目を集めている。 我々はこれらのモデルを多様なアンケートと実世界のシナリオで活用する。 この結果から,モデルが誤答しても高い信頼性を示す興味深い事例が判明した。
  論文  参考訳（メタデータ） (2023-09-28T03:50:09Z)
• Explaining Model Confidence Using Counterfactuals [4.385390451313721]
  人間とAIのインタラクションにおける信頼スコアの表示は、人間とAIシステムの信頼構築に役立つことが示されている。 既存の研究のほとんどは、信頼スコアのみをコミュニケーションの形式として用いている。 信頼性スコアの反実的な説明は、参加者が機械学習モデルの予測をよりよく理解し、より信頼するのに役立つことを示す。
  論文  参考訳（メタデータ） (2023-03-10T06:22:13Z)
• Navigating the Grey Area: How Expressions of Uncertainty and Overconfidence Affect Language Models [74.07684768317705]
  LMはプロンプトにおける確実性のマーカーに非常に敏感であり、アクーは80%以上変化している。 その結果,高い確実性の表現は低い表現に比べて精度が低下し,事実動詞が性能を損なうのに対して,明らかな表現はパフォーマンスに寄与することがわかった。 これらの関連性は、LMが真に不確実性を反映するのではなく、観察された言語の使用に基づいていることを示唆している。
  論文  参考訳（メタデータ） (2023-02-26T23:46:29Z)
• Accurate Emotion Strength Assessment for Seen and Unseen Speech Based on Data-Driven Deep Learning [70.30713251031052]
  本研究では,データ駆動型深層学習モデル,すなわちSenseNetを提案する。 実験の結果,提案した強度ネットの予測感情強度は,目視と目視の両方の真理値と高い相関性を示した。
  論文  参考訳（メタデータ） (2022-06-15T01:25:32Z)
• StrengthNet: Deep Learning-based Emotion Strength Assessment for Emotional Speech Synthesis [82.39099867188547]
  本稿では,強度予測のための深層学習に基づく感情力評価ネットワークを提案する。 本モデルは,音響エンコーダ,強度予測器,補助感情予測器を含む構造を持つマルチタスク学習フレームワークに適合する。 実験により,提案した強度ネットの予測感情強度は,見知らぬ音声に対する地上の真理スコアと高い相関性を示した。
  論文  参考訳（メタデータ） (2021-10-07T03:16:15Z)
• FSER: Deep Convolutional Neural Networks for Speech Emotion Recognition [0.015863809575305417]
  本研究では、4つの有効な音声データベース上で訓練された音声感情認識モデルFSERを紹介する。 各ベンチマークデータセットでは、FSERはこれまでに導入された最高のモデルよりも優れており、最先端のパフォーマンスを実現している。 FSERは、精神的および感情的な医療を改善するために使われる可能性がある。
  論文  参考訳（メタデータ） (2021-09-15T05:03:24Z)
• Emotion-Aware, Emotion-Agnostic, or Automatic: Corpus Creation Strategies to Obtain Cognitive Event Appraisal Annotations [12.48513712803069]
  評価理論は、イベントの認知評価が特定の感情をどのように導くかを説明します。 イベント中心のenISEARコーパスに基づく評価次元に対する異なるアノテーション戦略について検討する。
  論文  参考訳（メタデータ） (2021-02-25T13:55:44Z)
• An evaluation of word-level confidence estimation for end-to-end automatic speech recognition [70.61280174637913]
  エンドツーエンド自動音声認識(ASR)における信頼度推定の検討 4つのよく知られた音声データセットにおける信頼度手法の広範なベンチマークを提供する。 以上の結果から,ロジットを学習温度でスケーリングすることで,強いベースラインが得られることが示唆された。
  論文  参考訳（メタデータ） (2021-01-14T09:51:59Z)
• How Much Can We Really Trust You? Towards Simple, Interpretable Trust Quantification Metrics for Deep Neural Networks [94.65749466106664]
  我々は思考実験を行い、信頼と信頼に関する2つの重要な疑問を探求する。 我々は、一連の質問に答える際の行動に基づいて、ディープニューラルネットワークの全体的な信頼性を評価するための一連のメトリクスを紹介します。 提案されたメトリクスは必ずしも完璧ではありませんが、よりよいメトリクスに向かって会話を推し進めることが望まれています。
  論文  参考訳（メタデータ） (2020-09-12T17:37:36Z)
• Improving Factual Consistency Between a Response and Persona Facts [64.30785349238619]
  応答生成のためのニューラルネットワークは、意味論的に妥当であるが、必ずしも話者のペルソナを記述する事実と矛盾しない応答を生成する。 我々は,これらのモデルを強化学習により微調整し,応答とペルソナ事実の一貫性と意味的妥当性を明確に把握する効率的な報酬関数を提案する。
  論文  参考訳（メタデータ） (2020-04-30T18:08:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。