論文の概要: ArtEmis: Affective Language for Visual Art

• arxiv url: http://arxiv.org/abs/2101.07396v1
• Date: Tue, 19 Jan 2021 01:03:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 11:33:14.199594
• Title: ArtEmis: Affective Language for Visual Art
• Title（参考訳）: artemis: 視覚芸術のための感情言語
• Authors: Panos Achlioptas, Maks Ovsjanikov, Kilichbek Haydarov, Mohamed Elhoseiny, Leonidas Guibas
• Abstract要約: 我々は視覚アートワークによって引き起こされる情緒体験に焦点を当てる。 ある画像に対して感じている支配的な感情を示すために、注釈を付けます。 これにより、目的コンテンツとイメージの感情的影響の両方に対して、リッチな信号セットが導かれる。
• 参考スコア（独自算出の注目度）: 46.643106054408285
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a novel large-scale dataset and accompanying machine learning models aimed at providing a detailed understanding of the interplay between visual content, its emotional effect, and explanations for the latter in language. In contrast to most existing annotation datasets in computer vision, we focus on the affective experience triggered by visual artworks and ask the annotators to indicate the dominant emotion they feel for a given image and, crucially, to also provide a grounded verbal explanation for their emotion choice. As we demonstrate below, this leads to a rich set of signals for both the objective content and the affective impact of an image, creating associations with abstract concepts (e.g., "freedom" or "love"), or references that go beyond what is directly visible, including visual similes and metaphors, or subjective references to personal experiences. We focus on visual art (e.g., paintings, artistic photographs) as it is a prime example of imagery created to elicit emotional responses from its viewers. Our dataset, termed ArtEmis, contains 439K emotion attributions and explanations from humans, on 81K artworks from WikiArt. Building on this data, we train and demonstrate a series of captioning systems capable of expressing and explaining emotions from visual stimuli. Remarkably, the captions produced by these systems often succeed in reflecting the semantic and abstract content of the image, going well beyond systems trained on existing datasets. The collected dataset and developed methods are available at https://artemisdataset.org.
• Abstract（参考訳）: 本稿では,視覚コンテンツの相互作用,感情的効果,後者の言語説明を詳細に理解することを目的とした,新しい大規模データセットと機械学習モデルを提案する。 コンピュータビジョンにおける既存のほとんどのアノテーションデータセットとは対照的に、視覚的なアートワークによって引き起こされる情緒的な経験に注目し、アノテータに与えられたイメージに対する支配的な感情を示し、重要なことに、彼らの感情選択に対する基礎的な言葉による説明を提供するよう依頼する。 以下に示すように、これは画像の客観的な内容と情緒的な影響の両方に対する豊富なシグナルをもたらし、抽象的な概念(例えば「自由」や「愛」)や、視覚的なシミュレートや比喩、個人的体験への主観的な参照を含む、直接見えるものを超えた参照を創り出す。 我々は視覚芸術(絵画、芸術写真など)に焦点を当てており、視聴者から感情的な反応を引き出すために作られたイメージの第一の例である。 私たちのデータセットはArtEmisと呼ばれ、WikiArtの81Kのアートワークに439Kの感情属性と人間による説明が含まれています。 このデータを基に,視覚刺激から感情を表現・説明できる一連のキャプションシステムを訓練し,実演する。 注目すべきは、これらのシステムによって生成されたキャプションは、しばしば画像の意味的内容と抽象的内容の反映に成功し、既存のデータセットで訓練されたシステムを超えた。 収集されたデータセットと開発されたメソッドはhttps://artemisdataset.org.comで入手できる。

関連論文リスト

• Impressions: Understanding Visual Semiotics and Aesthetic Impact [66.40617566253404]
  画像のセミオティックスを調べるための新しいデータセットであるImpressionsを提示する。 既存のマルチモーダル画像キャプションと条件付き生成モデルは、画像に対する可視的応答をシミュレートするのに苦労していることを示す。 このデータセットは、微調整と少数ショット適応により、画像の印象や美的評価をモデル化する能力を大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-27T04:30:18Z)
• StyleEDL: Style-Guided High-order Attention Network for Image Emotion Distribution Learning [69.06749934902464]
  StyleEDLと呼ばれる画像感情分布学習のためのスタイル誘導型高次アテンションネットワークを提案する。 StyleEDLは視覚内容の階層的スタイリスティック情報を探索することにより、画像のスタイリスティックな表現を対話的に学習する。 さらに、コンテンツ依存の感情表現を動的に生成するスタイリスティックなグラフ畳み込みネットワークを導入する。
  論文  参考訳（メタデータ） (2023-08-06T03:22:46Z)
• Contextually-rich human affect perception using multimodal scene information [36.042369831043686]
  我々は、事前学習された視覚言語(VLN)モデルを利用して、画像から前景の文脈の記述を抽出する。 本研究では,前景の手がかりを視覚シーンと組み合わせたマルチモーダルコンテキスト融合(MCF)モジュールと,感情予測のための個人ベースのコンテキスト情報を提案する。 自然のシーンとテレビ番組に関連する2つのデータセットに対して,モジュール設計の有効性を示す。
  論文  参考訳（メタデータ） (2023-03-13T07:46:41Z)
• ViNTER: Image Narrative Generation with Emotion-Arc-Aware Transformer [59.05857591535986]
  様々な感情を「感情弧」として表現する時系列に焦点をあてた画像物語を生成するモデルViNTERを提案する。 手動評価と自動評価の両方の実験結果を示す。
  論文  参考訳（メタデータ） (2022-02-15T10:53:08Z)
• SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
  画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。 異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。 また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
  論文  参考訳（メタデータ） (2021-10-24T02:41:41Z)
• AffectGAN: Affect-Based Generative Art Driven by Semantics [2.323282558557423]
  本稿では,特定の感情状態を表す芸術的画像を生成する新しい手法を提案する。 我々のAffectGANモデルは、特定の意味的プロンプトや意図された感情的結果に基づいて画像を生成することができる。 AffectGANによって生成された32の画像の小さなデータセットは、50人の参加者によって、彼らが引き起こす特定の感情と、その品質と新規性の観点から注釈付けされている。
  論文  参考訳（メタデータ） (2021-09-30T04:53:25Z)
• Affective Image Content Analysis: Two Decades Review and New Perspectives [132.889649256384]
  我々は,過去20年間の情緒的イメージコンテンツ分析(AICA)の発展を包括的にレビューする。 我々は、感情的ギャップ、知覚主観性、ラベルノイズと欠如という3つの主要な課題に関して、最先端の手法に焦点を当てる。 画像の内容やコンテキスト理解,グループ感情クラスタリング,ビューアーとイメージのインタラクションなど,今後の課題や研究の方向性について論じる。
  論文  参考訳（メタデータ） (2021-06-30T15:20:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。