論文の概要: Exploring Spatiotemporal Emotional Synchrony in Dyadic Interactions: The Role of Speech Conditions in Facial and Vocal Affective Alignment

• arxiv url: http://arxiv.org/abs/2505.13455v2
• Date: Thu, 29 May 2025 10:30:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 15:42:33.908555
• Title: Exploring Spatiotemporal Emotional Synchrony in Dyadic Interactions: The Role of Speech Conditions in Facial and Vocal Affective Alignment
• Title（参考訳）: ダイアディック相互作用における時空間的感情同期の探索 : 顔面および声道刺激性アライメントにおける発話条件の役割
• Authors: Von Ralph Dane Marquez Herbuela, Yukie Nagai,
• Abstract要約: 非重複音声は、より明確な感情的調整を促進する。 重なり合う言葉は同期を乱す。 指向性パターンでは, 顔の表情が発話に先行する傾向がみられた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how humans express and synchronize emotions across multiple communication channels particularly facial expressions and speech has significant implications for emotion recognition systems and human computer interaction. Motivated by the notion that non-overlapping speech promotes clearer emotional coordination, while overlapping speech disrupts synchrony, this study examines how these conversational dynamics shape the spatial and temporal alignment of arousal and valence across facial and vocal modalities. Using dyadic interactions from the IEMOCAP dataset, we extracted continuous emotion estimates via EmoNet (facial video) and a Wav2Vec2-based model (speech audio). Segments were categorized based on speech overlap, and emotional alignment was assessed using Pearson correlation, lag adjusted analysis, and Dynamic Time Warping (DTW). Across analyses, non overlapping speech was associated with more stable and predictable emotional synchrony than overlapping speech. While zero-lag correlations were low and not statistically different, non overlapping speech showed reduced variability, especially for arousal. Lag adjusted correlations and best-lag distributions revealed clearer, more consistent temporal alignment in these segments. In contrast, overlapping speech exhibited higher variability and flatter lag profiles, though DTW indicated unexpectedly tighter alignment suggesting distinct coordination strategies. Notably, directionality patterns showed that facial expressions more often preceded speech during turn-taking, while speech led during simultaneous vocalizations. These findings underscore the importance of conversational structure in regulating emotional communication and provide new insight into the spatial and temporal dynamics of multimodal affective alignment in real world interaction.
• Abstract（参考訳）: 複数のコミュニケーションチャネルにおける感情の表現と同期の仕方を理解することは、感情認識システムや人間のコンピュータインタラクションに重要な意味を持つ。 非重複音声は、より明確な感情的協調を促進するが、重なり合う音声は同期を乱すという概念に触発され、これらの会話のダイナミクスが、顔と声のモダリティをまたいだ覚醒と価の空間的・時間的アライメントをいかに形成するかを考察する。 EmoNet(インタフェースビデオ)とWav2Vec2ベースのモデル(音声音声)を用いて,IEMOCAPデータセットからのダイアディックインタラクションを用いて,連続感情推定を抽出した。 音声の重なりに基づいてセグメントを分類し, ピアソン相関, ラグ調整分析, 動的時間ワーピング(DTW)を用いて感情的アライメントを評価した。 非重複音声は、重なり声よりも安定的で予測可能な感情的同期に関連付けられていた。 ゼロラグ相関は低値であり, 統計的に異なるものではないが, 非重複音声では, 特に覚醒のばらつきが低かった。 ラグ調整した相関とベストラグ分布はこれらのセグメントにおいてより明確で、より一貫した時間的アライメントを示した。 対照的に重なり合う音声は高い変動性および平坦なラグプロファイルを示したが、DTWは異なる協調戦略を示す予期せぬほど厳密なアライメントを示した。 特に、方向づけパターンは、発話が同時発声中を先導するのに対し、ターンテイク時に表情がより先行する傾向が見られた。 これらの知見は、感情コミュニケーションの制御における会話構造の重要性を強調し、実世界の相互作用におけるマルチモーダル感情アライメントの空間的・時間的ダイナミクスに関する新たな知見を提供する。

関連論文リスト

• Disentangle Identity, Cooperate Emotion: Correlation-Aware Emotional Talking Portrait Generation [63.94836524433559]
  DICE-Talkは、感情と同一性を切り離し、類似した特徴を持つ感情を協調するフレームワークである。 我々は、モーダル・アテンションを通して、音声と視覚の感情の手がかりを共同でモデル化するアンタングル型感情埋め込み装置を開発した。 次に,学習可能な感情バンクを用いた相関強化感情調和モジュールを提案する。 第3に、拡散過程における感情の一貫性を強制する感情識別目標を設計する。
  論文  参考訳（メタデータ） (2025-04-25T05:28:21Z)
• Learning Frame-Wise Emotion Intensity for Audio-Driven Talking-Head Generation [59.81482518924723]
  そこで本研究では,発話頭生成のための微妙なシフトを捕捉し,生成する手法を提案する。 我々は,強度レベルを正確に制御し,様々な感情を生成できる話頭フレームワークを開発した。 提案手法の有効性を実験・解析により検証した。
  論文  参考訳（メタデータ） (2024-09-29T01:02:01Z)
• Attention-based Interactive Disentangling Network for Instance-level Emotional Voice Conversion [81.1492897350032]
  感情音声変換(Emotional Voice Conversion)は、非感情成分を保存しながら、与えられた感情に応じて音声を操作することを目的とする。 本稿では,音声変換にインスタンスワイドな感情知識を活用する,意図に基づく対話型ディスタングネットワーク(AINN)を提案する。
  論文  参考訳（メタデータ） (2023-12-29T08:06:45Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• Multiscale Contextual Learning for Speech Emotion Recognition in Emergency Call Center Conversations [4.297070083645049]
  本稿では,音声感情認識のためのマルチスケール会話文脈学習手法を提案する。 音声の書き起こしと音響セグメントの両方について,本手法について検討した。 我々のテストによると、過去のトークンから派生したコンテキストは、以下のトークンよりも正確な予測に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-08-28T20:31:45Z)
• Empirical Interpretation of the Relationship Between Speech Acoustic Context and Emotion Recognition [28.114873457383354]
  音声感情認識(SER)は、感情的な知性を得、発話の文脈的意味を理解するために不可欠である。 実際に、音声の感情は、所定の時間の間、音響セグメント上で単一のラベルとして扱われる。 本研究は,SERにおける音声コンテキストと音声境界が局所的マーカーに与える影響について,注意に基づくアプローチを用いて検討する。
  論文  参考訳（メタデータ） (2023-06-30T09:21:48Z)
• Emotional Speech-Driven Animation with Content-Emotion Disentanglement [51.34635009347183]
  本研究では,感情表現の明示的な制御を可能にしつつ,音声からリップシンクを維持する3次元音声アバターを生成するEMOTEを提案する。 EmOTEは、同じデータでトレーニングされた最先端の方法よりも、リップシンクで音声駆動の顔アニメーションを生成する。
  論文  参考訳（メタデータ） (2023-06-15T09:31:31Z)
• deep learning of segment-level feature representation for speech emotion recognition in conversations [9.432208348863336]
  そこで本稿では,意図的文脈依存と話者感応的相互作用をキャプチャする対話型音声感情認識手法を提案する。 まず、事前訓練されたVGGishモデルを用いて、個々の発話におけるセグメントベース音声表現を抽出する。 第2に、注意的双方向リカレントユニット(GRU)は、文脈に敏感な情報をモデル化し、話者内および話者間依存関係を共同で探索する。
  論文  参考訳（メタデータ） (2023-02-05T16:15:46Z)
• Semi-supervised learning for continuous emotional intensity controllable speech synthesis with disentangled representations [16.524515747017787]
  半教師付き学習を用いて感情の連続的な強度を制御する新しい手法を提案する。 実験の結果,提案手法は制御性と自然性に優れていた。
  論文  参考訳（メタデータ） (2022-11-11T12:28:07Z)
• Dilated Context Integrated Network with Cross-Modal Consensus for Temporal Emotion Localization in Videos [128.70585652795637]
  TELは、時間的行動の局所化と比較して3つのユニークな課題を提示している。 感情は時間的ダイナミクスが非常に多様である。 微粒な時間的アノテーションは複雑で、労働集約的です。
  論文  参考訳（メタデータ） (2022-08-03T10:00:49Z)
• Detecting Emotion Primitives from Speech and their use in discerning Categorical Emotions [16.886826928295203]
  感情は人間同士のコミュニケーションにおいて重要な役割を担い、幸福やフラストレーション、誠実さといった感情を伝えることができる。 この研究は、感情プリミティブが、幸福、嫌悪、軽蔑、怒り、驚きといったカテゴリー的感情を中性的なスピーチから検出する方法について研究した。 以上の結果から, 覚醒と支配は, 感情のより優れた検出方法であった。
  論文  参考訳（メタデータ） (2020-01-31T03:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。