論文の概要: Emotion Across Speech and Faces: Shared Affective Mechanisms in Multimodal Foundation Models
- arxiv url: http://arxiv.org/abs/2608.17102v1
- Date: Mon, 17 Aug 2026 20:26:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.124597
- Title: Emotion Across Speech and Faces: Shared Affective Mechanisms in Multimodal Foundation Models
- Title（参考訳）: 音声と顔間の感情:マルチモーダル基礎モデルにおける共有感情メカニズム
- Abstract要約: 感情に敏感なニューロン (ESN) を探索し, 感情カテゴリーに選択的に関連付けられたスパースデコーダニューロンについて検討した。
視覚的ESNは因果的に意味があり、それらが選択的に機能しないことで、関連する顔の感情の認識を損なう。
1つのモダリティから特定されたESNは、もう1つのモダリティに適用されると感情特異的な効果をもたらす。
- 参考スコア（独自算出の注目度）: 7.8273212511900985
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern multimodal foundation models (MFMs) have made rapid progress on tasks requiring integrated perception across speech, vision, and language, including emotion recognition. However, it remains unclear whether they recognize speech and facial emotion through shared affective functional units or modality-specific pathways. We explore emotion-sensitive neurons (ESNs), sparse decoder neurons selectively associated with emotion categories, in three MFMs: Gemma-4-12B-it, MiniCPM-o-4.5, and Qwen2.5-Omni-7B. Using speech emotion recognition and facial expression recognition as complementary probes, we identify acoustic and visual ESNs. Visual ESNs are causally meaningful: deactivating them selectively impairs recognition of the associated facial emotion, whereas steering their activations selectively enhances recognition of that emotion relative to other emotion categories. Acoustic and visual ESNs further show emotion-matched overlap and similar layer-wise distributions, indicating partial structural alignment between affective representations across speech and faces. Finally, cross-modal interventions reveal bidirectional causal transfer: ESNs identified from one modality produce emotion-specific effects when applied to the other. Our findings provide one of the first cross-modality activation-level analyses of affective functional units in MFMs, suggesting that speech and facial emotion recognition partially converge onto sparse decoder-level components that can be localized and manipulated without training.
- Abstract（参考訳）: 現代のマルチモーダル基礎モデル(MFM)は、感情認識を含む、音声、視覚、言語をまたいだ統合的な認識を必要とするタスクを急速に進歩させてきた。
しかし、共通の感情的機能単位やモダリティ固有の経路を通じて、音声と顔の感情を認識するかどうかは不明である。
感情感受性ニューロン(ESN)、感情カテゴリーに選択的に関連付けられたスパースデコーダニューロン(Gemma-4-12B-it, MiniCPM-o-4.5, Qwen2.5-Omni-7B)を探索した。
音声の感情認識と表情認識を相補的なプローブとして用いて,音響的および視覚的ESNを同定する。
視覚的 ESN は因果的意味を持つ: それらが選択的に活性化されることは、関連する顔の感情の認識を損なう一方で、そのアクティベーションを操ることで、他の感情カテゴリと比較してその感情の認識を選択的に増強する。
音響的および視覚的ESNは、さらに感情にマッチした重なり合いと、同様の階層的な分布を示し、音声と顔間の感情表現の間に部分的な構造的アライメントを示す。
最後に、モーダル間の介入によって双方向の因果移動が明らかになる:あるモダリティから特定されたESNは、他のモダリティに適用されると感情特異的な効果をもたらす。
以上の結果から,MFMにおける感情的機能単位のクロスモーダルなアクティベーションレベル分析の1つとして,音声認識と顔の感情認識が,訓練なしで局所化・操作できる疎脱コーダレベルのコンポーネントに部分的に収束していることが示唆された。
関連論文リスト
- From Syntax to Emotion: A Mechanistic Analysis of Emotion Inference in LLMs [1.4692712025142225]
大規模言語モデル(LLM)における感情認識の内部メカニズムについて検討する。
層間におけるスパース特徴アクティベーションの解析により,一貫した3相情報フローを同定する。
感情表現は感情間で共有される特徴と感情特有の特徴の両方から構成されることを示す。
論文 参考訳（メタデータ） (2026-04-28T17:03:16Z) - Neuron-Level Emotion Control in Speech-Generative Large Audio-Language Models [15.554739266839187]
大規模音声言語モデル(LALM)における感情制御のニューロンレベルでの最初の研究について述べる。
コンパクトな感情感受性ニューロン(ESN)は因果的に作用し、推論時に無訓練の感情ステアリングを可能にする。
本研究は,音声生成における無訓練感情制御のための機械的枠組みを構築した。
論文 参考訳（メタデータ） (2026-03-18T00:32:47Z) - Memory-guided Prototypical Co-occurrence Learning for Mixed Emotion Recognition [56.00118641432005]
本稿では,感情共起パターンを明示的にモデル化するメモリ誘導型プロトタイプ共起学習フレームワークを提案する。
人間の認知記憶システムに触発されて,意味レベルの共起関係を抽出するメモリ検索戦略を導入する。
本モデルは感情分布予測のための感情情報表現を学習する。
論文 参考訳（メタデータ） (2026-02-24T04:11:25Z) - Discovering and Causally Validating Emotion-Sensitive Neurons in Large Audio-Language Models [8.550786156000461]
大規模音声言語モデル(LALM)における感情感受性ニューロン(ESN)のニューロンレベルでの解釈可能性の研究について紹介する。
複数の感情認識ベンチマークにおいて、周波数、エントロピー、等級、コントラストに基づくニューロンセレクタを比較した。
推論時間の介入を用いて、一貫した感情特異的なシグネチャを明らかにする。
論文 参考訳（メタデータ） (2026-01-06T15:46:35Z) - From Coarse to Nuanced: Cross-Modal Alignment of Fine-Grained Linguistic Cues and Visual Salient Regions for Dynamic Emotion Recognition [7.362433184546492]
動的表情認識は、時間的に変化する顔の動きから人間の感情を識別することを目的としている。
本手法は,動的な動作モデリング,意味的テキストの洗練,トークンレベルのクロスモーダルアライメントを統合し,感情的に有意な特徴の正確な局所化を容易にする。
論文 参考訳（メタデータ） (2025-07-16T04:15:06Z) - Disentangle Identity, Cooperate Emotion: Correlation-Aware Emotional Talking Portrait Generation [63.94836524433559]
DICE-Talkは、感情と同一性を切り離し、類似した特徴を持つ感情を協調するフレームワークである。
我々は、モーダル・アテンションを通して、音声と視覚の感情の手がかりを共同でモデル化するアンタングル型感情埋め込み装置を開発した。
次に,学習可能な感情バンクを用いた相関強化感情調和モジュールを提案する。
第3に、拡散過程における感情の一貫性を強制する感情識別目標を設計する。
論文 参考訳（メタデータ） (2025-04-25T05:28:21Z) - GatedxLSTM: A Multimodal Affective Computing Approach for Emotion Recognition in Conversations [35.63053777817013]
GatedxLSTMは、会話におけるマルチモーダル感情認識(ERC)モデルである。
話者と会話相手の双方の声と書き起こしを考慮し、感情的なシフトを駆動する最も影響力のある文章を特定する。
4クラスの感情分類において,オープンソース手法間でのSOTA(State-of-the-art)性能を実現する。
論文 参考訳（メタデータ） (2025-03-26T18:46:18Z) - Stimuli-Aware Visual Emotion Analysis [75.68305830514007]
本稿では,刺激選択,特徴抽出,感情予測の3段階からなる刺激認識型視覚感情分析(VEA)手法を提案する。
我々の知る限りでは、エンド・ツー・エンドのネットワークでVEAに刺激選択プロセスを導入するのは初めてです。
実験により、提案手法は、4つの公的な視覚的感情データセットに対する最先端のアプローチよりも一貫して優れていることが示された。
論文 参考訳（メタデータ） (2021-09-04T08:14:52Z) - Emotion Recognition from Multiple Modalities: Fundamentals and
Methodologies [106.62835060095532]
マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。
まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。
次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。
最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
論文 参考訳（メタデータ） (2021-08-18T21:55:20Z) - Emotion pattern detection on facial videos using functional statistics [62.997667081978825]
顔面筋運動の有意なパターンを抽出する機能的ANOVAに基づく手法を提案する。
感情群間の表現に時間的差があるかどうかを関数fテストを用いて判定する。
論文 参考訳（メタデータ） (2021-03-01T08:31:08Z) - Modality-Transferable Emotion Embeddings for Low-Resource Multimodal
Emotion Recognition [55.44502358463217]
本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。
我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。
私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
論文 参考訳（メタデータ） (2020-09-21T06:10:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。