論文の概要: It is Okay to Not Be Okay: Overcoming Emotional Bias in Affective Image
Captioning by Contrastive Data Collection
- arxiv url: http://arxiv.org/abs/2204.07660v1
- Date: Fri, 15 Apr 2022 22:08:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-19 12:38:24.526197
- Title: It is Okay to Not Be Okay: Overcoming Emotional Bias in Affective Image
Captioning by Contrastive Data Collection
- Title（参考訳）: コントラストデータ収集による感情的イメージキャプションにおける感情的バイアスの克服
- Authors: Youssef Mohamed, Faizan Farooq Khan, Kilichbek Haydarov, Mohamed
Elhoseiny
- Abstract要約: ArtEmisは最近、言語の説明とともに、画像に対する感情反応の大規模なデータセットとして紹介された。
その結果、訓練されたニューラルスピーカーは、表現不足の感情の記述において正確さを損なうことが判明した。
我々は、ArtEmisと新しい補完的データセットのバランスをとるために、対照的なデータ収集手法を提案する。
- 参考スコア（独自算出の注目度）: 22.209744124318966
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Datasets that capture the connection between vision, language, and affection
are limited, causing a lack of understanding of the emotional aspect of human
intelligence. As a step in this direction, the ArtEmis dataset was recently
introduced as a large-scale dataset of emotional reactions to images along with
language explanations of these chosen emotions. We observed a significant
emotional bias towards instance-rich emotions, making trained neural speakers
less accurate in describing under-represented emotions. We show that collecting
new data, in the same way, is not effective in mitigating this emotional bias.
To remedy this problem, we propose a contrastive data collection approach to
balance ArtEmis with a new complementary dataset such that a pair of similar
images have contrasting emotions (one positive and one negative). We collected
260,533 instances using the proposed method, we combine them with ArtEmis,
creating a second iteration of the dataset. The new combined dataset, dubbed
ArtEmis v2.0, has a balanced distribution of emotions with explanations
revealing more fine details in the associated painting. Our experiments show
that neural speakers trained on the new dataset improve CIDEr and METEOR
evaluation metrics by 20% and 7%, respectively, compared to the biased dataset.
Finally, we also show that the performance per emotion of neural speakers is
improved across all the emotion categories, significantly on under-represented
emotions. The collected dataset and code are available at
https://artemisdataset-v2.org.
- Abstract（参考訳）: 視覚、言語、愛情のつながりを捉えるデータセットは限られており、人間の知性に対する感情的な側面の理解が欠如している。
この方向へのステップとして、ArtEmisデータセットは、画像に対する感情反応の大規模なデータセットとして紹介され、これらの選択された感情の言語説明が導入された。
その結果、訓練されたニューラルスピーカーは、表現不足の感情の記述において精度が低下することがわかった。
同様に、新しいデータを集めることは、この感情バイアスを軽減するのに効果がないことを示す。
この問題を解決するために,ArtEmisと新たな相補的データセットのバランスをとるための対照的なデータ収集手法を提案する。
提案手法を用いて260,533インスタンスを収集し,artemisと組み合わせることで,データセットの2回目のイテレーションを生成する。
ArtEmis v2.0と呼ばれるこの組み合わせデータセットは、感情のバランスの取れた分布を持ち、関連する絵の細部がより詳細に説明されている。
実験の結果、新しいデータセットでトレーニングされたニューラルスピーカーは、バイアスデータセットと比較して、CIDErとMETEORの評価基準を20%と7%改善することがわかった。
最後に,すべての感情カテゴリ,特に過度に表現された感情において,ニューラルスピーカーの感情毎のパフォーマンスが向上することを示す。
収集されたデータセットとコードはhttps://artemisdataset-v2.orgで入手できる。
関連論文リスト
- EMO-KNOW: A Large Scale Dataset on Emotion and Emotion-cause [8.616061735005314]
我々は15年間で980万件のツイートから導かれた感情原因の大規模なデータセットを紹介した。
データセットの新規性は、その幅広い感情クラスと抽象的な感情原因に由来する。
私たちのデータセットは、異なる人々の多様な感情反応を考慮に入れた感情認識システムの設計を可能にします。
論文 参考訳（メタデータ） (2024-06-18T08:26:33Z) - Language Models (Mostly) Do Not Consider Emotion Triggers When Predicting Emotion [87.18073195745914]
人間の感情が感情の予測において有意であると考えられる特徴とどのように相関するかを検討する。
EmoTriggerを用いて、感情のトリガーを識別する大規模言語モデルの能力を評価する。
分析の結果、感情のトリガーは感情予測モデルにとって健全な特徴ではなく、様々な特徴と感情検出のタスクの間に複雑な相互作用があることが判明した。
論文 参考訳（メタデータ） (2023-11-16T06:20:13Z) - Data Augmentation for Emotion Detection in Small Imbalanced Text Data [0.0]
課題の1つは、感情で注釈付けされた利用可能なデータセットが不足していることだ。
我々は、小さな不均衡なデータセットに適用した場合に、データ拡張技術が与える影響を正確に調査した。
実験結果から,分類器モデルの訓練に拡張データを用いることで,大幅な改善が得られた。
論文 参考訳（メタデータ） (2023-10-25T21:29:36Z) - EmoSet: A Large-scale Visual Emotion Dataset with Rich Attributes [53.95428298229396]
リッチ属性を付加した最初の大規模視覚感情データセットであるEmoSetを紹介する。
EmoSetは合計330万枚の画像で構成され、そのうち118,102枚は人間のアノテーションによって慎重にラベル付けされている。
心理学的な研究によって動機付けられ、感情のカテゴリに加えて、各画像には記述可能な感情特性のセットが注釈付けされている。
論文 参考訳（メタデータ） (2023-07-16T06:42:46Z) - Reevaluating Data Partitioning for Emotion Detection in EmoWOZ [0.0]
EmoWozは、対話のための感情ラベルを提供するMultiWOZの拡張である。
MultiWOZは、当初別の目的のために分割され、新しい感情認識の目的を考えると、分布の変化が生じる。
この問題に対処し、データセットの分布を改善し、データセットシフトを減らすために、感情タグに基づく階層化サンプリング手法を提案する。
論文 参考訳（メタデータ） (2023-03-15T03:06:13Z) - A cross-corpus study on speech emotion recognition [29.582678406878568]
本研究では,行動感情から学習した情報が,自然感情の検出に有用かどうかを検討する。
成人英語の4つのデータセットは、行動的、誘惑的、自然な感情をカバーしている。
性能劣化を正確に調査するための最先端モデルを提案する。
論文 参考訳（メタデータ） (2022-07-05T15:15:22Z) - SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。
異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。
また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
論文 参考訳（メタデータ） (2021-10-24T02:41:41Z) - Affective Image Content Analysis: Two Decades Review and New
Perspectives [132.889649256384]
我々は,過去20年間の情緒的イメージコンテンツ分析(AICA)の発展を包括的にレビューする。
我々は、感情的ギャップ、知覚主観性、ラベルノイズと欠如という3つの主要な課題に関して、最先端の手法に焦点を当てる。
画像の内容やコンテキスト理解,グループ感情クラスタリング,ビューアーとイメージのインタラクションなど,今後の課題や研究の方向性について論じる。
論文 参考訳（メタデータ） (2021-06-30T15:20:56Z) - A Circular-Structured Representation for Visual Emotion Distribution
Learning [82.89776298753661]
視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。
具体的には、まず感情圏を構築し、その内にある感情状態を統一する。
提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
論文 参考訳（メタデータ） (2021-06-23T14:53:27Z) - Modality-Transferable Emotion Embeddings for Low-Resource Multimodal
Emotion Recognition [55.44502358463217]
本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。
我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。
私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
論文 参考訳（メタデータ） (2020-09-21T06:10:39Z) - Context Based Emotion Recognition using EMOTIC Dataset [22.631542327834595]
EMOTIC(エモティック)は, 感情に注意を喚起された人々のイメージのデータセットである。
EMOTICデータセットを使用して、感情認識のためのさまざまなCNNモデルをトレーニングする。
その結果,情緒状態を自動的に認識するためにシーンコンテキストが重要な情報を提供することを示す。
論文 参考訳（メタデータ） (2020-03-30T12:38:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。