論文の概要: Beyond Vision-Language Models: Visual-Semantic Affect Graphs for Emotion Recognition in Artworks

• arxiv url: http://arxiv.org/abs/2610.35244v1
• Date: Mon, 26 Oct 2026 11:25:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.842767
• Title: Beyond Vision-Language Models: Visual-Semantic Affect Graphs for Emotion Recognition in Artworks
• Title（参考訳）: 視覚-言語モデルを超えて:アートワークにおける感情認識のための視覚-セマンティック・アフェクトグラフ
• Abstract要約: 本稿では,解釈可能な特徴ノードを通してアートワークを表現するグラフベースのフレームワークであるVisual-Semantic Affect Graphs (VSAG)を提案する。 EmoArt-5k 上の Qwen3-VL と InternVL3.5 を用いて直接 VLM 推定に対する VSAG と VSAG-TopK の評価を行った。
• 参考スコア（独自算出の注目度）: 1.0324277598946736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emotion recognition in artworks remains challenging because affective meaning is often subjective, implicit, and shaped by relationships between visual form and semantic associations. While vision-language models provide strong multimodal representations, direct image-to-emotion prediction may overlook explicit relations among formal, semantic, and affective cues that support emotional interpretation. This paper proposes Visual-Semantic Affect Graphs (VSAG), a graph-based framework that represents artworks through interpretable feature nodes, including color, brushstroke, composition, light-shadow, line quality, and extracted visual entities. The graph learns feature-emotion associations for dominant emotion prediction, with valence-arousal structure modeled through an optional hierarchical auxiliary affect module. We evaluate VSAG and VSAG-TopK against direct VLM inference using Qwen3-VL and InternVL3.5 on EmoArt-5k. Results show that direct VLMs provide useful but modest baselines, while graph-based models improve dominant emotion prediction. In particular, the hierarchical valence-arousal variant of VSAG achieves the best overall performance, improving accuracy, macro-F1, and weighted-F1 over both direct VLM inference and the emotion-only VSAG baseline. Per-class results indicate that graph-based models and VLMs capture partly complementary signals, while valence-arousal structure is most useful when integrated as a coarse-to-fine affect hierarchy rather than as a simple post-hoc correction. These findings suggest that explicit visual-semantic structure can support both prediction and interpretation in artwork emotion recognition.
• Abstract（参考訳）: 感情的な意味はしばしば主観的、暗黙的、そして視覚的形態と意味的関連の関係によって形づくられるため、美術品における感情認識は依然として困難である。 視覚言語モデルは強いマルチモーダル表現を提供するが、直接的なイメージ・ツー・感情予測は、感情的な解釈をサポートする形式的、意味的、感情的な手がかり間の明確な関係を見落としてしまう可能性がある。 本稿では,色,ブラシストローク,構成,光陰影,線品質,抽出された視覚的実体を含む,解釈可能な特徴ノードを通してアートワークを表現するグラフベースのフレームワークであるVisual-Semantic Affect Graphs (VSAG)を提案する。 このグラフは、主観的な感情予測のための特徴感情関連を学習し、任意の階層的な補助的感情モジュールを通して、原子価-覚醒構造をモデル化する。 EmoArt-5k 上の Qwen3-VL と InternVL3.5 を用いて直接 VLM 推定に対する VSAG と VSAG-TopK の評価を行った。 その結果、直接VLMは有用だが控えめなベースラインを提供するのに対し、グラフベースのモデルは支配的な感情予測を改善することがわかった。 特に、階層的価-覚醒的VSAGは、直接のVLM推論と感情のみのVSAGベースラインの両方に対して、全体的なパフォーマンスの向上、精度の向上、マクロF1、重み付きF1を実現している。 グラフベースモデルとVLMは部分的に相補的な信号を取り込むが、原子価覚醒構造は単純なポストホック補正ではなく粗大な影響階層として統合される場合に最も有用である。 これらの結果から,視覚的意味構造は,美術的感情認識における予測と解釈の両方を支援できることが示唆された。

関連論文リスト

• Personalized Cross-Modal Emotional Correlation Learning for Speech-Preserving Facial Expression Manipulation [63.90351637818903]
  音声保存表情操作は、本来の音声に結びついた口の動きを変えることなく、人間の表現力を高めることを目的としている。 現在のVisual-Language Models (VLM)は、整列した視覚的特徴と意味的特徴を抽出し、将来的な監視の源となる。 VLMをベースとしたパーソナライズされたクロスモーダル感情相関学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-04-28T06:02:23Z)
• Vision Graph Prompting via Semantic Low-Rank Decomposition [10.223578525761617]
  Vision GNN (ViG) は、画像をグラフ構造として表現することで、優れた性能を示す。 下流タスクにViGを効率的に適応させるためには、視覚的プロンプトのようなパラメータ効率の良い微調整技術がますます不可欠になっている。 視覚グラフ構造に適した新しいフレームワークであるビジョングラフプロンプティング(VGP)を提案する。
  論文  参考訳（メタデータ） (2025-05-07T04:29:29Z)
• VAEmo: Efficient Representation Learning for Visual-Audio Emotion with Knowledge Injection [50.57849622045192]
  本稿では,外部知識注入を用いた感情中心型VA表現学習のための効率的なフレームワークであるVAEmoを提案する。 VAEmoは、コンパクトな設計で最先端のパフォーマンスを実現し、統合されたクロスモーダルエンコーディングと感情認識のセマンティックガイダンスの利点を強調している。
  論文  参考訳（メタデータ） (2025-05-05T03:00:51Z)
• Exploring Cognitive and Aesthetic Causality for Multimodal Aspect-Based Sentiment Analysis [34.100793905255955]
  マルチモーダル・アスペクトベースの感情分類(MASC)は,ソーシャル・プラットフォーム上でのユーザ生成型マルチモーダル・コンテンツの増加による新たな課題である。 既存のMASCにおける多大な努力と重要な成果にもかかわらず、細かな視覚的内容の理解には大きなギャップが残っている。 本稿では,認知的・審美的感情因果理解フレームワークであるChimeraについて述べる。
  論文  参考訳（メタデータ） (2025-04-22T12:43:37Z)
• Eradicating Social Biases in Sentiment Analysis using Semantic Blinding and Semantic Propagation Graph Neural Networks [0.0]
  SProp GNNは、テキスト中の感情を予測するために、構文構造と単語レベルの感情的手がかりにのみ依存している。 特定の単語に関する情報にモデルを意味的に盲目にすることで、政治的またはジェンダー的バイアスのような社会的バイアスに対して堅牢である。 SProp GNNは、2つの異なる予測タスクと2つの言語でのレキシコンベースの代替よりもパフォーマンスが優れていることを示している。
  論文  参考訳（メタデータ） (2024-11-19T13:23:53Z)
• Progressive Semantic-Visual Mutual Adaption for Generalized Zero-Shot Learning [74.48337375174297]
  一般化ゼロショット学習(GZSL)は、目に見えない領域から移行した知識によって、見えないカテゴリを特定する。 プロトタイプと視覚特徴の対応性を段階的にモデル化するために,デュアルセマンティック・ビジュアル・トランスフォーマーモジュール(DSVTM)をデプロイする。 DSVTMは、インスタンス中心のプロトタイプを学習して異なる画像に適応させる、インスタンス駆動セマンティックエンコーダを考案した。
  論文  参考訳（メタデータ） (2023-03-27T15:21:43Z)
• Graph Adaptive Semantic Transfer for Cross-domain Sentiment Classification [68.06496970320595]
  クロスドメイン感情分類(CDSC)は、ソースドメインから学んだ伝達可能なセマンティクスを使用して、ラベルなしのターゲットドメインにおけるレビューの感情を予測することを目的としている。 本稿では、単語列と構文グラフの両方からドメイン不変セマンティクスを学習できる適応型構文グラフ埋め込み法であるグラフ適応意味伝達(GAST)モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-18T07:47:01Z)
• GINet: Graph Interaction Network for Scene Parsing [58.394591509215005]
  画像領域に対する文脈推論を促進するために,グラフインタラクションユニット(GIユニット)とセマンティックコンテキストロス(SC-loss)を提案する。 提案されたGINetは、Pascal-ContextやCOCO Stuffなど、一般的なベンチマークにおける最先端のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2020-09-14T02:52:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。