論文の概要: Cognition-Inspired Dual-Stream Semantic Enhancement for Vision-Based Dynamic Emotion Modeling

• arxiv url: http://arxiv.org/abs/2604.12777v1
• Date: Tue, 14 Apr 2026 14:16:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.489885
• Title: Cognition-Inspired Dual-Stream Semantic Enhancement for Vision-Based Dynamic Emotion Modeling
• Title（参考訳）: 視覚に基づく動的感情モデリングのための認知型デュアルストリームセマンティックエンハンスメント
• Authors: Huanzhen Wang, Ziheng Zhou, Zeng Tao, Aoxing Li, Yingkai Zhao, Yuxuan Lin, Yan Wang, Wenqiang Zhang,
• Abstract要約: 認知にインスパイアされたデュアルストリームセマンティックエンハンスメント(DuSE)を提案する。 我々のモデルは、デュアルストリーム認知アーキテクチャをインスタンス化する。 挑戦的なインザワイルドベンチマークの実験は、認識中心のアプローチを検証する。
• 参考スコア（独自算出の注目度）: 27.96408159377496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The human brain constructs emotional percepts not by processing facial expressions in isolation, but through a dynamic, hierarchical integration of sensory input with semantic and contextual knowledge. However, existing vision-based dynamic emotion modeling approaches often neglect emotion perception and cognitive theories. To bridge this gap between machine and human emotion perception, we propose cognition-inspired Dual-stream Semantic Enhancement (DuSE). Our model instantiates a dual-stream cognitive architecture. The first stream, a Hierarchical Temporal Prompt Cluster (HTPC), operationalizes the cognitive priming effect. It simulates how linguistic cues pre-sensitize neural pathways, modulating the processing of incoming visual stimuli by aligning textual semantics with fine-grained temporal features of facial dynamics. The second stream, a Latent Semantic Emotion Aggregator (LSEA), computationally models the knowledge integration process, akin to the mechanism described by the Conceptual Act Theory. It aggregates sensory inputs and synthesizes them with learned conceptual knowledge, reflecting the role of the hippocampus and default mode network in constructing a coherent emotional experience. By explicitly modeling these neuro-cognitive mechanisms, DuSE provides a more neurally plausible and robust framework for dynamic facial expression recognition (DFER). Extensive experiments on challenging in-the-wild benchmarks validate our cognition-centric approach, demonstrating that emulating the brain's strategies for emotion processing yields state-of-the-art performance and enhances model interpretability.
• Abstract（参考訳）: 人間の脳は、表情を別々に処理するだけでなく、感覚入力と意味的および文脈的知識を動的に階層的に統合することで感情的な知覚を構成する。 しかし、既存の視覚に基づく動的感情モデリングアプローチは、感情の知覚や認知理論を無視することが多い。 マシンと人間の感情知覚のギャップを埋めるために,認知にインスパイアされたデュアルストリーム・セマンティック・エンハンスメント(DuSE)を提案する。 我々のモデルは、デュアルストリーム認知アーキテクチャをインスタンス化する。 第1ストリームは階層型時間プロンプトクラスタ(HTPC)で、認知プライミング効果を運用する。 言語的手がかりが神経経路を事前に感覚化する様子をシミュレートし、テキスト意味論と顔力学の微妙な時間的特徴を整合させることで、入ってくる視覚刺激の処理を調節する。 第2のストリームであるLSEA(Latent Semantic Emotion Aggregator)は、概念的行為理論によって記述されるメカニズムに似た、知識統合プロセスの計算モデルである。 感覚入力を集約し、学習された概念知識で合成し、一貫性のある感情体験を構築する上での海馬とデフォルトモードネットワークの役割を反映する。 これらの神経認知機構を明示的にモデル化することにより、DuSEは動的表情認識(DFER)のためのより神経質で堅牢なフレームワークを提供する。 感情処理のための脳の戦略をエミュレートすると、最先端のパフォーマンスが得られ、モデルの解釈可能性も向上する。

関連論文リスト

• Memory-guided Prototypical Co-occurrence Learning for Mixed Emotion Recognition [56.00118641432005]
  本稿では,感情共起パターンを明示的にモデル化するメモリ誘導型プロトタイプ共起学習フレームワークを提案する。 人間の認知記憶システムに触発されて,意味レベルの共起関係を抽出するメモリ検索戦略を導入する。 本モデルは感情分布予測のための感情情報表現を学習する。
  論文  参考訳（メタデータ） (2026-02-24T04:11:25Z)
• A Unified Spoken Language Model with Injected Emotional-Attribution Thinking for Human-like Interaction [50.05919688888947]
  本稿では,感情的インテリジェンスのための統一言語モデルを提案する。 IEATは、ユーザーの感情状態とその根本原因をモデルの内部推論プロセスに組み込んでおり、明示的な監督として扱われるのではなく、感情を意識した推論を内部化することができる。 HumDial(Human-like Spoken Dialogue Systems Challenge)Emotional Intelligenceベンチマークの実験は、提案手法が感情軌道モデリング、感情的推論、共感的応答生成にまたがるトップランクのパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2026-01-08T14:07:30Z)
• One Model, Two Minds: A Context-Gated Graph Learner that Recreates Human Biases [3.7958475517455947]
  本稿では認知科学の二重過程理論に触発された新しい心の理論(ToM)フレームワークを紹介する。 我々のモデルは、学習された文脈ゲート機構を通して直観的で熟考的な推論のバランスをとる。 この研究は人工知能と認知理論を橋渡しし、曖昧で人間らしい社会的認知と適応的な意思決定能力を示すAIシステムへの道を開く。
  論文  参考訳（メタデータ） (2025-09-10T15:55:14Z)
• Think-Before-Draw: Decomposing Emotion Semantics & Fine-Grained Controllable Expressive Talking Head Generation [7.362433184546492]
  コンピュータビジョンとマルチモーダル人工知能の交差点における重要な研究領域として、感情的トーキー生成が出現している。 本研究では,2つの課題に対処するThink-Before-Drawフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-17T03:33:46Z)
• Neural Brain: A Neuroscience-inspired Framework for Embodied Agents [78.61382193420914]
  大規模な言語モデルのような現在のAIシステムは、いまだに解体され続けており、物理的に世界と関わりが持てない。 この課題の核心は、人間のような適応性を持つエンボディエージェントを駆動するために設計された中枢知能システムであるNeural Brain(ニューラル・ブレイン)の概念である。 本稿では,2つの基本的な課題に対処する,エンボディエージェントのニューラルブレインの統一的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-05-12T15:05:34Z)
• Brain2Text Decoding Model Reveals the Neural Mechanisms of Visual Semantic Processing [0.17188280334580194]
  本稿では,fMRI信号を直接自然な画像のテキスト記述にデコードする新しいフレームワークを提案する。 視覚情報なしで訓練された新しいディープラーニングモデルは、最先端のセマンティックデコーディング性能を実現する。
  論文  参考訳（メタデータ） (2025-03-15T07:28:02Z)
• Stimuli-Aware Visual Emotion Analysis [75.68305830514007]
  本稿では,刺激選択,特徴抽出,感情予測の3段階からなる刺激認識型視覚感情分析(VEA)手法を提案する。 我々の知る限りでは、エンド・ツー・エンドのネットワークでVEAに刺激選択プロセスを導入するのは初めてです。 実験により、提案手法は、4つの公的な視覚的感情データセットに対する最先端のアプローチよりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-04T08:14:52Z)
• Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
  本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。 本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。 本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
  論文  参考訳（メタデータ） (2021-04-20T16:55:15Z)
• Leveraging Recent Advances in Deep Learning for Audio-Visual Emotion Recognition [2.1485350418225244]
  人間の行動分析のために, 自発的なマルチモーダル感情認識が広く研究されている。 視聴覚感情認識のための深層学習に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。