論文の概要: SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network
- arxiv url: http://arxiv.org/abs/2110.12334v1
- Date: Sun, 24 Oct 2021 02:41:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-26 14:13:02.717331
- Title: SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network
- Title（参考訳）: SOLVER: シーンオブジェクトの相互関連視覚感情推論ネットワーク
- Authors: Jingyuan Yang, Xinbo Gao, Leida Li, Xiumei Wang, and Jinshan Ding
- Abstract要約: 画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。
異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。
また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
- 参考スコア（独自算出の注目度）: 83.27291945217424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual Emotion Analysis (VEA) aims at finding out how people feel emotionally
towards different visual stimuli, which has attracted great attention recently
with the prevalence of sharing images on social networks. Since human emotion
involves a highly complex and abstract cognitive process, it is difficult to
infer visual emotions directly from holistic or regional features in affective
images. It has been demonstrated in psychology that visual emotions are evoked
by the interactions between objects as well as the interactions between objects
and scenes within an image. Inspired by this, we propose a novel Scene-Object
interreLated Visual Emotion Reasoning network (SOLVER) to predict emotions from
images. To mine the emotional relationships between distinct objects, we first
build up an Emotion Graph based on semantic concepts and visual features. Then,
we conduct reasoning on the Emotion Graph using Graph Convolutional Network
(GCN), yielding emotion-enhanced object features. We also design a Scene-Object
Fusion Module to integrate scenes and objects, which exploits scene features to
guide the fusion process of object features with the proposed scene-based
attention mechanism. Extensive experiments and comparisons are conducted on
eight public visual emotion datasets, and the results demonstrate that the
proposed SOLVER consistently outperforms the state-of-the-art methods by a
large margin. Ablation studies verify the effectiveness of our method and
visualizations prove its interpretability, which also bring new insight to
explore the mysteries in VEA. Notably, we further discuss SOLVER on three other
potential datasets with extended experiments, where we validate the robustness
of our method and notice some limitations of it.
- Abstract（参考訳）: 視覚感情分析(vea:visual emotion analysis)は、さまざまな視覚刺激に対して、人々が感情的にどのように感じているかを見つけることを目的としている。
人間の感情は、非常に複雑で抽象的な認知過程を伴うため、情緒的イメージの全体的特徴や地域的特徴から直接視覚的感情を推測することは困難である。
心理学において、視覚的感情は、物体間の相互作用や、画像内の物体とシーン間の相互作用によって誘発される。
そこで本研究では,画像から感情を予測する新しいシーンオブジェクト間関連視覚感情推論ネットワーク(solver)を提案する。
異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。
次に,グラフ畳み込みネットワーク(gcn)を用いて感情グラフ上で推論を行い,感情強調オブジェクトの特徴を導出する。
また,シーンとオブジェクトを統合するためのシーン・オブジェクト融合モジュールも設計し,提案するシーン・ベースのアテンション機構を用いて,シーンの特徴の融合プロセスを案内するシーン機能を利用する。
8つのパブリックな視覚感情データセットについて,広範な実験と比較を行い,提案手法が最先端手法を一貫して上回っていることを示す。
アブレーション研究は,この手法の有効性を検証し,その解釈性を可視化することで,veaの謎を探究する新たな知見をもたらす。
特に,SOLVERの他の3つの潜在的なデータセットについてさらに議論し,提案手法のロバスト性を検証するとともに,その限界に気付く。
関連論文リスト
- UniEmoX: Cross-modal Semantic-Guided Large-Scale Pretraining for Universal Scene Emotion Perception [8.54013419046987]
視覚的感情分析のためのクロスモーダルな意味誘導型大規模事前学習フレームワークUniEmoXを紹介する。
UniEmoXは、ペア画像と未ペア画像テキストの類似性を利用して、CLIPモデルから豊富な意味知識を抽出し、感情的な埋め込み表現を強化する。
Emo8というタイトルの視覚的感情的データセットを開発し、ほとんどすべての感情的シーンをカバーしています。
論文 参考訳（メタデータ） (2024-09-27T16:12:51Z) - StyleEDL: Style-Guided High-order Attention Network for Image Emotion
Distribution Learning [69.06749934902464]
StyleEDLと呼ばれる画像感情分布学習のためのスタイル誘導型高次アテンションネットワークを提案する。
StyleEDLは視覚内容の階層的スタイリスティック情報を探索することにより、画像のスタイリスティックな表現を対話的に学習する。
さらに、コンテンツ依存の感情表現を動的に生成するスタイリスティックなグラフ畳み込みネットワークを導入する。
論文 参考訳（メタデータ） (2023-08-06T03:22:46Z) - EmoSet: A Large-scale Visual Emotion Dataset with Rich Attributes [53.95428298229396]
リッチ属性を付加した最初の大規模視覚感情データセットであるEmoSetを紹介する。
EmoSetは合計330万枚の画像で構成され、そのうち118,102枚は人間のアノテーションによって慎重にラベル付けされている。
心理学的な研究によって動機付けられ、感情のカテゴリに加えて、各画像には記述可能な感情特性のセットが注釈付けされている。
論文 参考訳（メタデータ） (2023-07-16T06:42:46Z) - Multi-Cue Adaptive Emotion Recognition Network [4.570705738465714]
適応型マルチキューに基づく感情認識のための新しい深層学習手法を提案する。
提案手法とCAER-Sデータセットの最先端手法を比較した。
論文 参考訳（メタデータ） (2021-11-03T15:08:55Z) - Stimuli-Aware Visual Emotion Analysis [75.68305830514007]
本稿では,刺激選択,特徴抽出,感情予測の3段階からなる刺激認識型視覚感情分析(VEA)手法を提案する。
我々の知る限りでは、エンド・ツー・エンドのネットワークでVEAに刺激選択プロセスを導入するのは初めてです。
実験により、提案手法は、4つの公的な視覚的感情データセットに対する最先端のアプローチよりも一貫して優れていることが示された。
論文 参考訳（メタデータ） (2021-09-04T08:14:52Z) - A Circular-Structured Representation for Visual Emotion Distribution
Learning [82.89776298753661]
視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。
具体的には、まず感情圏を構築し、その内にある感情状態を統一する。
提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
論文 参考訳（メタデータ） (2021-06-23T14:53:27Z) - Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。
本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。
本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
論文 参考訳（メタデータ） (2021-04-20T16:55:15Z) - ArtEmis: Affective Language for Visual Art [46.643106054408285]
我々は視覚アートワークによって引き起こされる情緒体験に焦点を当てる。
ある画像に対して感じている支配的な感情を示すために、注釈を付けます。
これにより、目的コンテンツとイメージの感情的影響の両方に対して、リッチな信号セットが導かれる。
論文 参考訳（メタデータ） (2021-01-19T01:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。