論文の概要: EmoSet: A Large-scale Visual Emotion Dataset with Rich Attributes

• arxiv url: http://arxiv.org/abs/2307.07961v1
• Date: Sun, 16 Jul 2023 06:42:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 16:41:33.064929
• Title: EmoSet: A Large-scale Visual Emotion Dataset with Rich Attributes
• Title（参考訳）: EmoSet: リッチ属性を備えた大規模ビジュアル感情データセット
• Authors: Jingyuan Yang, Qiruin Huang, Tingting Ding, Dani Lischinski, Daniel Cohen-Or, Hui Huang
• Abstract要約: EmoSetは、リッチ属性でアノテートされた最初の大規模な視覚的感情データセットである。 EmoSetは合計330万枚の画像で構成され、そのうち118,102枚は人間のアノテーションによって慎重にラベル付けされている。 EmoSetにはソーシャルネットワークの画像と芸術的イメージが含まれており、異なる感情カテゴリー間でバランスがとれている。
• 参考スコア（独自算出の注目度）: 53.95428298229396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual Emotion Analysis (VEA) aims at predicting people's emotional responses to visual stimuli. This is a promising, yet challenging, task in affective computing, which has drawn increasing attention in recent years. Most of the existing work in this area focuses on feature design, while little attention has been paid to dataset construction. In this work, we introduce EmoSet, the first large-scale visual emotion dataset annotated with rich attributes, which is superior to existing datasets in four aspects: scale, annotation richness, diversity, and data balance. EmoSet comprises 3.3 million images in total, with 118,102 of these images carefully labeled by human annotators, making it five times larger than the largest existing dataset. EmoSet includes images from social networks, as well as artistic images, and it is well balanced between different emotion categories. Motivated by psychological studies, in addition to emotion category, each image is also annotated with a set of describable emotion attributes: brightness, colorfulness, scene type, object class, facial expression, and human action, which can help understand visual emotions in a precise and interpretable way. The relevance of these emotion attributes is validated by analyzing the correlations between them and visual emotion, as well as by designing an attribute module to help visual emotion recognition. We believe EmoSet will bring some key insights and encourage further research in visual emotion analysis and understanding. The data and code will be released after the publication of this work.
• Abstract（参考訳）: 視覚感情分析(VEA)は、視覚刺激に対する人々の感情反応を予測することを目的とする。 これは、感情コンピューティングにおける有望だが挑戦的なタスクであり、近年注目を集めている。 この分野の既存の作業のほとんどは機能設計に重点を置いているが、データセットの構築にはほとんど注目されていない。 本稿では,既存のデータセットよりも,スケール,アノテーションの豊かさ,多様性,データバランスという4つの面で優れている,リッチ属性を注釈とした最初の大規模ビジュアル感情データセットであるemosetを紹介する。 EmoSetは合計330万枚の画像で構成され、そのうち118,102枚の画像は人間のアノテーションによって慎重にラベル付けされている。 EmoSetにはソーシャルネットワークの画像と芸術的イメージが含まれており、異なる感情カテゴリー間でバランスがとれている。 心理学的な研究によって動機付けられた各画像には、感情のカテゴリに加えて、明度、カラフルネス、シーンタイプ、オブジェクトクラス、表情、人間の行動といった、視覚的な感情を正確に解釈可能な方法で理解するための一連の記述可能な感情特性が注釈付けされている。 これらの感情特性の関連性は、それらと視覚的感情の相関を解析し、また、視覚的感情認識を支援する属性モジュールを設計することによって検証される。 EmoSetはいくつかの重要な洞察をもたらし、視覚的感情分析と理解のさらなる研究を促進するだろうと考えています。 データとコードは、この作品の公開後にリリースされる予定だ。

関連論文リスト

• UniEmoX: Cross-modal Semantic-Guided Large-Scale Pretraining for Universal Scene Emotion Perception [8.54013419046987]
  視覚的感情分析のためのクロスモーダルな意味誘導型大規模事前学習フレームワークUniEmoXを紹介する。 UniEmoXは、ペア画像と未ペア画像テキストの類似性を利用して、CLIPモデルから豊富な意味知識を抽出し、感情的な埋め込み表現を強化する。 Emo8というタイトルの視覚的感情的データセットを開発し、ほとんどすべての感情的シーンをカバーしています。
  論文  参考訳（メタデータ） (2024-09-27T16:12:51Z)
• EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
  マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。 しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。 EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
  論文  参考訳（メタデータ） (2024-06-24T08:33:02Z)
• Language Models (Mostly) Do Not Consider Emotion Triggers When Predicting Emotion [87.18073195745914]
  人間の感情が感情の予測において有意であると考えられる特徴とどのように相関するかを検討する。 EmoTriggerを用いて、感情のトリガーを識別する大規模言語モデルの能力を評価する。 分析の結果、感情のトリガーは感情予測モデルにとって健全な特徴ではなく、様々な特徴と感情検出のタスクの間に複雑な相互作用があることが判明した。
  論文  参考訳（メタデータ） (2023-11-16T06:20:13Z)
• SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
  画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。 異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。 また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
  論文  参考訳（メタデータ） (2021-10-24T02:41:41Z)
• Affective Image Content Analysis: Two Decades Review and New Perspectives [132.889649256384]
  我々は,過去20年間の情緒的イメージコンテンツ分析(AICA)の発展を包括的にレビューする。 我々は、感情的ギャップ、知覚主観性、ラベルノイズと欠如という3つの主要な課題に関して、最先端の手法に焦点を当てる。 画像の内容やコンテキスト理解,グループ感情クラスタリング,ビューアーとイメージのインタラクションなど,今後の課題や研究の方向性について論じる。
  論文  参考訳（メタデータ） (2021-06-30T15:20:56Z)
• A Circular-Structured Representation for Visual Emotion Distribution Learning [82.89776298753661]
  視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。 具体的には、まず感情圏を構築し、その内にある感情状態を統一する。 提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
  論文  参考訳（メタデータ） (2021-06-23T14:53:27Z)
• Context Based Emotion Recognition using EMOTIC Dataset [22.631542327834595]
  EMOTIC(エモティック)は, 感情に注意を喚起された人々のイメージのデータセットである。 EMOTICデータセットを使用して、感情認識のためのさまざまなCNNモデルをトレーニングする。 その結果,情緒状態を自動的に認識するためにシーンコンテキストが重要な情報を提供することを示す。
  論文  参考訳（メタデータ） (2020-03-30T12:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。