論文の概要: StyleEDL: Style-Guided High-order Attention Network for Image Emotion Distribution Learning

• arxiv url: http://arxiv.org/abs/2308.03000v1
• Date: Sun, 6 Aug 2023 03:22:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 17:18:08.345001
• Title: StyleEDL: Style-Guided High-order Attention Network for Image Emotion Distribution Learning
• Title（参考訳）: styleedl: イメージ感情分布学習のためのスタイル誘導高次注意ネットワーク
• Authors: Peiguang Jing, Xianyi Liu, Ji Wang, Yinwei Wei, Liqiang Nie, Yuting Su
• Abstract要約: StyleEDLと呼ばれる画像感情分布学習のためのスタイル誘導型高次アテンションネットワークを提案する。 StyleEDLは視覚内容の階層的スタイリスティック情報を探索することにより、画像のスタイリスティックな表現を対話的に学習する。 さらに、コンテンツ依存の感情表現を動的に生成するスタイリスティックなグラフ畳み込みネットワークを導入する。
• 参考スコア（独自算出の注目度）: 69.06749934902464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emotion distribution learning has gained increasing attention with the tendency to express emotions through images. As for emotion ambiguity arising from humans' subjectivity, substantial previous methods generally focused on learning appropriate representations from the holistic or significant part of images. However, they rarely consider establishing connections with the stylistic information although it can lead to a better understanding of images. In this paper, we propose a style-guided high-order attention network for image emotion distribution learning termed StyleEDL, which interactively learns stylistic-aware representations of images by exploring the hierarchical stylistic information of visual contents. Specifically, we consider exploring the intra- and inter-layer correlations among GRAM-based stylistic representations, and meanwhile exploit an adversary-constrained high-order attention mechanism to capture potential interactions between subtle visual parts. In addition, we introduce a stylistic graph convolutional network to dynamically generate the content-dependent emotion representations to benefit the final emotion distribution learning. Extensive experiments conducted on several benchmark datasets demonstrate the effectiveness of our proposed StyleEDL compared to state-of-the-art methods. The implementation is released at: https://github.com/liuxianyi/StyleEDL.
• Abstract（参考訳）: 感情分布学習は、イメージを通して感情を表現する傾向から注目を集めている。 人間の主観性から生じる感情のあいまいさについては、主に画像の全体的あるいは重要な部分から適切な表現を学ぶことに焦点を当てていた。 しかし、画像の理解を深めるが、様式的な情報とのつながりを確立することはめったにない。 本稿では,視覚内容の階層的スタイリスティック情報を探索することにより,画像のスタイリスティックな表現を対話的に学習するStyleEDLという画像感情分布学習のためのスタイル誘導型高次アテンションネットワークを提案する。 具体的には、グラムに基づくスタイリスティック表現における層内および層間相関について検討し、一方で、敵対的な高次注意機構を利用して微妙な視覚部位間の潜在的な相互作用を捉える。 さらに,コンテンツ依存型感情表現を動的に生成し,最終的な感情分布学習を支援するスタイリスティックグラフ畳み込みネットワークを導入する。 いくつかのベンチマークデータセットで実施された大規模な実験により,提案手法の有効性が示された。 実装は、https://github.com/liuxianyi/StyleEDL.comでリリースされている。

関連論文リスト

• Impressions: Understanding Visual Semiotics and Aesthetic Impact [66.40617566253404]
  画像のセミオティックスを調べるための新しいデータセットであるImpressionsを提示する。 既存のマルチモーダル画像キャプションと条件付き生成モデルは、画像に対する可視的応答をシミュレートするのに苦労していることを示す。 このデータセットは、微調整と少数ショット適応により、画像の印象や美的評価をモデル化する能力を大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-27T04:30:18Z)
• ALADIN-NST: Self-supervised disentangled representation learning of artistic style through Neural Style Transfer [60.6863849241972]
  我々は、画像に描かれた意味的内容から、より強く絡み合った視覚芸術スタイルの表現を学習する。 スタイルと内容の絡み合いに強く対処することで、スタイル固有のメトリクスが大きく向上することを示します。
  論文  参考訳（メタデータ） (2023-04-12T10:33:18Z)
• SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense Reasoning [61.57887011165744]
  マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。 視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T03:16:30Z)
• SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
  画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。 異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。 また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
  論文  参考訳（メタデータ） (2021-10-24T02:41:41Z)
• AffectGAN: Affect-Based Generative Art Driven by Semantics [2.323282558557423]
  本稿では,特定の感情状態を表す芸術的画像を生成する新しい手法を提案する。 我々のAffectGANモデルは、特定の意味的プロンプトや意図された感情的結果に基づいて画像を生成することができる。 AffectGANによって生成された32の画像の小さなデータセットは、50人の参加者によって、彼らが引き起こす特定の感情と、その品質と新規性の観点から注釈付けされている。
  論文  参考訳（メタデータ） (2021-09-30T04:53:25Z)
• Exploring Visual Engagement Signals for Representation Learning [56.962033268934015]
  VisEは、クラスタ化されたエンゲージメント信号から派生した擬似ラベルにソーシャルイメージをマップする弱い教師付き学習アプローチである。 この方法でトレーニングされたモデルが、感情認識や政治的バイアス検出といった主観的なコンピュータビジョンタスクにどのように役立つかを研究する。
  論文  参考訳（メタデータ） (2021-04-15T20:50:40Z)
• ArtEmis: Affective Language for Visual Art [46.643106054408285]
  我々は視覚アートワークによって引き起こされる情緒体験に焦点を当てる。 ある画像に対して感じている支配的な感情を示すために、注釈を付けます。 これにより、目的コンテンツとイメージの感情的影響の両方に対して、リッチな信号セットが導かれる。
  論文  参考訳（メタデータ） (2021-01-19T01:03:40Z)
• Interpretable Image Emotion Recognition: A Domain Adaptation Approach Using Facial Expressions [11.808447247077902]
  本稿では,ジェネリックイメージ中の感情を識別するための特徴に基づくドメイン適応手法を提案する。 これは、事前訓練されたモデルと、画像感情認識(IER)のための十分に注釈付けされたデータセットの限られた可用性の課題に対処する。 提案されたIERシステムは、IAPSaデータセットの60.98%、ArtPhotoデータセットの58.86%、FIデータセットの69.13%、EMOTICデータセットの58.06%の感情分類精度を示した。
  論文  参考訳（メタデータ） (2020-11-17T02:55:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。