論文の概要: Do Emotion Concepts Generalize Across Sources, Modalities, and Architectures in Vision-Language Models?

• arxiv url: http://arxiv.org/abs/2609.34742v1
• Date: Mon, 28 Sep 2026 09:34:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 03:13:30.925513
• Title: Do Emotion Concepts Generalize Across Sources, Modalities, and Architectures in Vision-Language Models?
• Title（参考訳）: 感情概念は視覚言語モデルにおけるソース、モダリティ、アーキテクチャを一般化するか?
• Abstract要約: CMES(Cross-Modal Emotion Stimuli)は、感情条件付きストーリー、実際の表情、合成肖像画、感情誘発シーンの集合体である。 それぞれの刺激源に対して、3つの視覚言語モデルから6つのエクマン感情ベクトルを分離して抽出する。 画像由来の感情ベクトルは、テキスト由来のベクトルと同様の低次元の幾何学を形成する。
• 参考スコア（独自算出の注目度）: 21.607174563243614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies suggest that large language models encode emotion concepts as structured internal representations, but most existing work focuses on text and a single architecture. Therefore, we ask, do emotion concepts generalize across sources, modalities, and architectures in vision--language models (VLMs)? To address this, we construct CMES (Cross-Modal Emotion Stimuli), a multi-source collection of emotion-conditioned stories, real facial expressions, synthetic portraits, and synthetic emotion-evoking scenes. For each stimulus source, we extract a separate set of six Ekman emotion vectors from each of three VLMs. We report four main findings as follows: 1) Image-derived emotion vectors form a low-dimensional geometry similar to that of text-derived vectors. Valence is relatively stable across sources, while arousal varies more. 2) Text- and image-derived emotion vectors have modest cosine similarity but still show held-out cross-modal correspondence. Text-derived vectors can also steer image interpretation. 3) Cross-architecture correspondence remains even when native cosine is near zero. Transformations estimated from generic ImageNet activations recover both correspondence and causal transfer without using the six emotion vectors or their labels. 4) After aligning representations across architectures, we construct a shared emotion subspace that preserves affective geometry and selective steering effects. The corresponding consensus emotion vectors also generalize to a held-out fourth architecture at two model sizes. These results suggest that emotion representations can share relational structure and causal effects across sources, modalities, and architectures, even when individual vector directions differ.
• Abstract（参考訳）: 近年の研究では、大きな言語モデルが感情概念を構造化された内部表現としてエンコードしていることが示唆されているが、既存の研究のほとんどはテキストと単一のアーキテクチャに焦点を当てている。 したがって、感情の概念は、視覚言語モデル(VLM)のソース、モダリティ、アーキテクチャにまたがって一般化されるのか? そこで我々は,感情条件付きストーリー,実際の表情,合成肖像画,合成感情誘発シーンの多ソースコレクションであるCMES(Cross-Modal Emotion Stimuli)を構築した。 それぞれの刺激源に対して、3つのVLMから6つのEkman感情ベクトルを分離して抽出する。 主な発見は以下の4つである。 1)画像由来の感情ベクトルはテキスト由来のベクトルと同様の低次元の幾何学を形成する。 正当性はソース間で比較的安定しているが、覚醒性はより多様である。 2) テキストおよび画像由来の感情ベクトルは, 極度のコサイン類似性を持つが, いまだに保留のクロスモーダル対応を示す。 テキスト由来のベクトルは画像解釈を操ることもできる。 3) 原産コサインが0に近い場合でも, 交差構造対応は継続する。 一般的なImageNetアクティベーションから推定される変換は、6つの感情ベクトルまたはそれらのラベルを使わずに、対応と因果変換の両方を回復する。 4) アーキテクチャ間で表現を整列させた後, 感情的幾何と選択的ステアリング効果を保存した共有感情サブスペースを構築した。 対応するコンセンサス感情ベクトルは、2つのモデルサイズで保持された第4のアーキテクチャにも一般化される。 これらの結果は、感情表現は、個々のベクトル方向が異なる場合でも、ソース、モダリティ、アーキテクチャ間で関係構造と因果効果を共有することができることを示唆している。

関連論文リスト

• EmoLat: Text-driven Image Sentiment Transfer via Emotion Latent Space [8.453871826832478]
  EmoLatは、細粒度でテキスト駆動のイメージ感情伝達を可能にする新しい感情潜在空間である。 EmoLat内では、感情、オブジェクト、視覚属性間の関係構造をキャプチャする感情意味グラフが構築されている。 EmoLat上に構築されたクロスモーダルな感情伝達フレームワークは,テキストとEmoLat機能の併用によるイメージ感情の操作を実現する。
  論文  参考訳（メタデータ） (2026-01-17T15:07:36Z)
• EmoVerse: A MLLMs-Driven Emotion Representation Dataset for Interpretable Visual Emotion Analysis [61.87711517626139]
  EmoVerseは、解釈可能な視覚的感情分析を可能にする、大規模なオープンソースデータセットである。 219k以上の画像で、データセットはさらにカテゴリー感情状態(CES)と次元感情空間(DES)の2つのアノテーションを含んでいる。
  論文  参考訳（メタデータ） (2025-11-16T11:16:50Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• Using Emotion Embeddings to Transfer Knowledge Between Emotions, Languages, and Annotation Formats [0.0]
  私たちは、異なる構成間で移行可能な単一のモデルを構築する方法を示します。 Demuxはゼロショット方式で知識を新しい言語に同時に転送できることを示す。
  論文  参考訳（メタデータ） (2022-10-31T22:32:36Z)
• Contrast and Generation Make BART a Good Dialogue Emotion Recognizer [38.18867570050835]
  対話型感情認識において、話者依存との長期的文脈的感情関係が重要な役割を担っている。 教師付きコントラスト学習を用いて、異なる感情を相互に排他的に区別し、類似した感情をよりよく識別する。 我々は、文脈情報を扱うモデルの能力を高めるために補助応答生成タスクを利用する。
  論文  参考訳（メタデータ） (2021-12-21T13:38:00Z)
• A Circular-Structured Representation for Visual Emotion Distribution Learning [82.89776298753661]
  視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。 具体的には、まず感情圏を構築し、その内にある感情状態を統一する。 提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
  論文  参考訳（メタデータ） (2021-06-23T14:53:27Z)
• Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
  本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。 本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。 本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
  論文  参考訳（メタデータ） (2021-04-20T16:55:15Z)
• Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition [55.44502358463217]
  本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。 我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。 私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-21T06:10:39Z)
• A Deep Neural Framework for Contextual Affect Detection [51.378225388679425]
  感情を持たない短い単純なテキストは、その文脈と共に読むときに強い感情を表現することができる。 文中の単語の相互依存を学習する文脈影響検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-01-28T05:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。