論文の概要: Decoding Emotions in Abstract Art: Cognitive Plausibility of CLIP in Recognizing Color-Emotion Associations
- arxiv url: http://arxiv.org/abs/2405.06319v1
- Date: Fri, 10 May 2024 08:45:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-13 16:17:47.075074
- Title: Decoding Emotions in Abstract Art: Cognitive Plausibility of CLIP in Recognizing Color-Emotion Associations
- Title（参考訳）: 抽象芸術における感情の復号:カラー感情認識におけるCLIPの認知的可視性
- Authors: Hanna-Sophia Widhoelzl, Ece Takmaz,
- Abstract要約: 本研究では,抽象的な視覚芸術によって誘発される感情の認識において,事前訓練されたマルチモーダルモデルであるCLIPの認知的妥当性について検討した。
我々は、人間のアノテータによって提供される感情ラベルとこれらのラベルのテキスト的有理性を含む画像からなるデータセットを用いる。
我々は、合理性の言語分析、画像と合理性のゼロショット感情分類、類似性に基づく感情の予測の適用、色と感情の関連性の調査を行う。
- 参考スコア（独自算出の注目度）: 1.0659364666674607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study investigates the cognitive plausibility of a pretrained multimodal model, CLIP, in recognizing emotions evoked by abstract visual art. We employ a dataset comprising images with associated emotion labels and textual rationales of these labels provided by human annotators. We perform linguistic analyses of rationales, zero-shot emotion classification of images and rationales, apply similarity-based prediction of emotion, and investigate color-emotion associations. The relatively low, yet above baseline, accuracy in recognizing emotion for abstract images and rationales suggests that CLIP decodes emotional complexities in a manner not well aligned with human cognitive processes. Furthermore, we explore color-emotion interactions in images and rationales. Expected color-emotion associations, such as red relating to anger, are identified in images and texts annotated with emotion labels by both humans and CLIP, with the latter showing even stronger interactions. Our results highlight the disparity between human processing and machine processing when connecting image features and emotions.
- Abstract（参考訳）: 本研究では,抽象的な視覚芸術によって誘発される感情の認識において,事前訓練されたマルチモーダルモデルであるCLIPの認知的妥当性について検討した。
我々は、人間のアノテータによって提供される感情ラベルとこれらのラベルのテキスト的合理性を含む画像からなるデータセットを用いる。
我々は、合理性の言語分析、画像と合理性のゼロショット感情分類、類似性に基づく感情の予測の適用、色と感情の関連性の調査を行う。
抽象的なイメージや合理性の感情を認識するための正確さは、CLIPが人間の認知過程とうまく一致しない方法で感情の複雑さをデコードしていることを示唆している。
さらに、画像と合理性における色-感情相互作用について検討する。
怒りに関連する赤などの色覚関連は、人間とCLIPの両方の感情ラベルに注釈を付けた画像やテキストで識別され、後者はさらに強い相互作用を示す。
画像の特徴と感情を接続する際の人的処理と機械処理の相違について検討した。
関連論文リスト
- Emotional Images: Assessing Emotions in Images and Potential Biases in Generative Models [0.0]
本稿では、生成人工知能(AI)モデルにより生成された画像の感情的誘発における潜在的なバイアスと矛盾について検討する。
我々は、AIが生成した画像によって誘発される感情と、それらの画像を作成するために使用されるプロンプトによって誘発される感情を比較した。
発見は、AI生成画像が元のプロンプトに関係なく、しばしばネガティブな感情的コンテンツに傾いていることを示している。
論文 参考訳（メタデータ） (2024-11-08T21:42:50Z) - Learning Emotion Representations from Verbal and Nonverbal Communication [7.747924294389427]
本稿では,言語・非言語コミュニケーションから視覚的感情表現を抽出する最初の事前学習パラダイムであるEmotionCLIPを提案する。
EmotionCLIPは、感情誘導型コントラスト学習を用いて、主観的文脈エンコーディングと言語感情キューを通じて、非言語感情キューへの参加を誘導する。
EmotionCLIPは、感情理解におけるデータ不足の一般的な問題に対処し、関連する領域の進歩を促進する。
論文 参考訳（メタデータ） (2023-05-22T21:36:55Z) - SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。
異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。
また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
論文 参考訳（メタデータ） (2021-10-24T02:41:41Z) - Stimuli-Aware Visual Emotion Analysis [75.68305830514007]
本稿では,刺激選択,特徴抽出,感情予測の3段階からなる刺激認識型視覚感情分析(VEA)手法を提案する。
我々の知る限りでは、エンド・ツー・エンドのネットワークでVEAに刺激選択プロセスを導入するのは初めてです。
実験により、提案手法は、4つの公的な視覚的感情データセットに対する最先端のアプローチよりも一貫して優れていることが示された。
論文 参考訳（メタデータ） (2021-09-04T08:14:52Z) - Affective Image Content Analysis: Two Decades Review and New
Perspectives [132.889649256384]
我々は,過去20年間の情緒的イメージコンテンツ分析(AICA)の発展を包括的にレビューする。
我々は、感情的ギャップ、知覚主観性、ラベルノイズと欠如という3つの主要な課題に関して、最先端の手法に焦点を当てる。
画像の内容やコンテキスト理解,グループ感情クラスタリング,ビューアーとイメージのインタラクションなど,今後の課題や研究の方向性について論じる。
論文 参考訳（メタデータ） (2021-06-30T15:20:56Z) - A Circular-Structured Representation for Visual Emotion Distribution
Learning [82.89776298753661]
視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。
具体的には、まず感情圏を構築し、その内にある感情状態を統一する。
提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
論文 参考訳（メタデータ） (2021-06-23T14:53:27Z) - Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。
本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。
本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
論文 参考訳（メタデータ） (2021-04-20T16:55:15Z) - Emotion pattern detection on facial videos using functional statistics [62.997667081978825]
顔面筋運動の有意なパターンを抽出する機能的ANOVAに基づく手法を提案する。
感情群間の表現に時間的差があるかどうかを関数fテストを用いて判定する。
論文 参考訳（メタデータ） (2021-03-01T08:31:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。