論文の概要: Affection: Learning Affective Explanations for Real-World Visual Data
- arxiv url: http://arxiv.org/abs/2210.01946v1
- Date: Tue, 4 Oct 2022 22:44:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 12:50:02.392781
- Title: Affection: Learning Affective Explanations for Real-World Visual Data
- Title（参考訳）: Affection: 実世界のビジュアルデータに対する感情的説明の学習
- Authors: Panos Achlioptas, Maks Ovsjanikov, Leonidas Guibas and Sergey Tulyakov
- Abstract要約: 我々は,85,007枚の公開画像に対して,感情反応と自由形式のテキスト説明を含む大規模データセットを研究コミュニティに導入し,共有する。
本研究は, 被写体集団に大きな支持を得て, 潜在的に有意な感情反応をとらえる上で, 重要な共通基盤があることを示唆する。
私たちの研究は、より豊かで、より人間中心で、感情に敏感な画像分析システムへの道を開くものです。
- 参考スコア（独自算出の注目度）: 50.28825017427716
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this work, we explore the emotional reactions that real-world images tend
to induce by using natural language as the medium to express the rationale
behind an affective response to a given visual stimulus. To embark on this
journey, we introduce and share with the research community a large-scale
dataset that contains emotional reactions and free-form textual explanations
for 85,007 publicly available images, analyzed by 6,283 annotators who were
asked to indicate and explain how and why they felt in a particular way when
observing a specific image, producing a total of 526,749 responses. Even though
emotional reactions are subjective and sensitive to context (personal mood,
social status, past experiences) - we show that there is significant common
ground to capture potentially plausible emotional responses with a large
support in the subject population. In light of this crucial observation, we ask
the following questions: i) Can we develop multi-modal neural networks that
provide reasonable affective responses to real-world visual data, explained
with language? ii) Can we steer such methods towards producing explanations
with varying degrees of pragmatic language or justifying different emotional
reactions while adapting to the underlying visual stimulus? Finally, iii) How
can we evaluate the performance of such methods for this novel task? With this
work, we take the first steps in addressing all of these questions, thus paving
the way for richer, more human-centric, and emotionally-aware image analysis
systems. Our introduced dataset and all developed methods are available on
https://affective-explanations.org
- Abstract（参考訳）: 本研究では,ある視覚刺激に対する感情応答の背景にある理性を表現するために,自然言語を媒体として実世界のイメージが引き起こす感情反応について検討する。
この旅に乗じて,85,007枚の公開画像に対して,感情反応と自由形式のテキストによる説明を含む大規模データセットを導入し,その分析を行った6,283名のアノテータが,特定の画像の観察において,どのように,なぜ,どのように感じられたのかを指示し,説明し,合計526,749件の回答を生成する。
感情反応は、主観的で、文脈(個人の気分、社会的地位、過去の経験)に敏感であるにもかかわらず、被験者の集団に大きな支持を得て、潜在的に有望な感情反応を捉えるための重要な共通基盤があることが示される。
この重要な観察を踏まえて、私たちは以下の質問をします。
i) 実世界の視覚データに対して合理的な感情応答を提供するマルチモーダルニューラルネットワークの開発は可能か?
二 このような方法により、語学的な言葉の度合いの異なる説明や、基礎となる視覚刺激に適応しながら異なる感情反応を正当化することができるか。
最後に
iii)この新たな課題に対して,これらの手法の性能を評価するにはどうすればよいか?
この研究で、私たちはこれらの疑問に対処する第一歩を踏み出し、より豊かで人間中心で感情に敏感な画像分析システムへの道を開いた。
導入したデータセットと開発済みのメソッドはすべて、https://affective-explanations.orgで利用可能です。
関連論文リスト
- Contextual Emotion Recognition using Large Vision Language Models [0.6749750044497732]
現実の状況における人の明らかな感情の人間レベルの認識を達成することは、コンピュータビジョンにおいて未解決の課題である。
本稿では,近年の大規模視覚言語モデルによって実現された2つの主要なアプローチについて検討する。
私たちは、小さなデータセットでも微調整された視覚言語モデルが、従来のベースラインを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2024-05-14T23:24:12Z) - Emotional Theory of Mind: Bridging Fast Visual Processing with Slow Linguistic Reasoning [0.6749750044497732]
本研究では,感情認知に関連する「物語キャプション」を構築することで,感情的推論機能を組み込む手法を提案する。
ゼロショット分類器 (CLIP) と微調整型視覚言語モデル (LLaVA) を用いて, 人間の生成した記述子上でのキャプションを構築する2つの方法を提案する。
実験の結果,「最強」の物語記述子と言語モデルの「スロー」推論を組み合わせることは,心の感情理論を実現するための有望な方法であることがわかった。
論文 参考訳（メタデータ） (2023-10-30T20:26:12Z) - High-Level Context Representation for Emotion Recognition in Images [4.987022981158291]
画像から高レベルな文脈表現を抽出する手法を提案する。
このモデルは、この表現と感情を関連付けるために、1つのキューと1つのエンコードストリームに依存している。
我々のアプローチは従来のモデルよりも効率的であり、感情認識に関連する現実の問題に対処するために容易に展開できる。
論文 参考訳（メタデータ） (2023-05-05T13:20:41Z) - How Would The Viewer Feel? Estimating Wellbeing From Video Scenarios [73.24092762346095]
情緒応答と主観的幸福感に注釈を付けた6万本以上のビデオを備えた大規模データセットを2つ導入した。
Video Cognitive Empathyデータセットには、微粒な感情応答の分布のためのアノテーションが含まれており、モデルが感情状態の詳細な理解を得ることができる。
Video to Valenceデータセットには、ビデオ間の相対的な快適性のアノテーションが含まれている。
論文 参考訳（メタデータ） (2022-10-18T17:58:25Z) - SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。
異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。
また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
論文 参考訳（メタデータ） (2021-10-24T02:41:41Z) - Stimuli-Aware Visual Emotion Analysis [75.68305830514007]
本稿では,刺激選択,特徴抽出,感情予測の3段階からなる刺激認識型視覚感情分析(VEA)手法を提案する。
我々の知る限りでは、エンド・ツー・エンドのネットワークでVEAに刺激選択プロセスを導入するのは初めてです。
実験により、提案手法は、4つの公的な視覚的感情データセットに対する最先端のアプローチよりも一貫して優れていることが示された。
論文 参考訳（メタデータ） (2021-09-04T08:14:52Z) - Affective Image Content Analysis: Two Decades Review and New
Perspectives [132.889649256384]
我々は,過去20年間の情緒的イメージコンテンツ分析(AICA)の発展を包括的にレビューする。
我々は、感情的ギャップ、知覚主観性、ラベルノイズと欠如という3つの主要な課題に関して、最先端の手法に焦点を当てる。
画像の内容やコンテキスト理解,グループ感情クラスタリング,ビューアーとイメージのインタラクションなど,今後の課題や研究の方向性について論じる。
論文 参考訳（メタデータ） (2021-06-30T15:20:56Z) - Computational Emotion Analysis From Images: Recent Advances and Future
Directions [79.05003998727103]
本章では,画像感情分析(IEA)を計算的観点から導入することを目的としている。
心理学の一般的な感情表現モデルから始めます。
そして、研究者たちが解決しようとしている重要な計算問題を定義します。
論文 参考訳（メタデータ） (2021-03-19T13:33:34Z) - ArtEmis: Affective Language for Visual Art [46.643106054408285]
我々は視覚アートワークによって引き起こされる情緒体験に焦点を当てる。
ある画像に対して感じている支配的な感情を示すために、注釈を付けます。
これにより、目的コンテンツとイメージの感情的影響の両方に対して、リッチな信号セットが導かれる。
論文 参考訳（メタデータ） (2021-01-19T01:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。