論文の概要: Finding Emotions Where They Belong: Rethinking Audio Emotion Recognition through Masked Temporal Affective Grounding

• arxiv url: http://arxiv.org/abs/2609.32804v1
• Date: Sat, 26 Sep 2026 17:27:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:09:56.500728
• Title: Finding Emotions Where They Belong: Rethinking Audio Emotion Recognition through Masked Temporal Affective Grounding
• Title（参考訳）: 長時間の感情の発見 : 仮面の情緒的接地を通しての音声感情認識の再考
• Abstract要約: 我々は,感情認識の訓練目的として,仮面時効的接地(M-TAG)を紹介した。 M-TAGは、フルシーケンス言語モデリングと、アテンションマスキングの下での感情とクロスエントロピー損失を組み合わせる。 その結果、既存のモデルでは、競合する感情認識性能に拘わらず、感情的時間的接地が制限されることが示唆された。
• 参考スコア（独自算出の注目度）: 29.972777048022536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio emotion recognition (AER) typically assigns a single label to an entire recording, leaving the temporal scope of that label ambiguous when multiple speakers and affective events are present. We address this limitation by reformulating AER as a Temporal Affective Grounding (TAG) task that associates emotions with temporally bounded speech spans and vocal tone descriptions. To support this formulation, we curate temporally annotated versions of existing emotion recognition datasets and construct recordings containing two to four affective speech spans, including overlapping speech. Training in this longer format with a standard language-modeling objective can degrade both emotion recognition and temporal grounding performance, while tone descriptions can provide shortcuts for emotion prediction. To address these challenges, we introduce Masked Temporal Affective Grounding (M-TAG), a supervised training objective that combines full-sequence language modeling with emotion and timestamp cross-entropy losses under attention masking. The masking varies the context visible to emotion-label tokens to reduce reliance on shortcuts and improve generalization, while the timestamp loss incorporates a distance-aware weight to penalize larger temporal errors. We evaluate EMO-TAG, a model fine-tuned using our dataset and objective, on emotion recognition and affective temporal-grounding against three AER and audio-language baselines: Flamingo-Next, Audio-Reasoner, and AffectGPT. Our results show that existing models achieve limited affective temporal-grounding despite competitive emotion recognition performance.
• Abstract（参考訳）: 音声感情認識(AER)は、通常、単一のラベルを全レコードに割り当て、複数の話者や感情的なイベントが存在する場合、そのラベルの時間的スコープが曖昧になる。 本研究では,AERを時間的影響基盤(TAG)タスクとして再構成し,感情を時間的境界のある音声と声調記述に関連付けることにより,この制限に対処する。 この定式化を支援するため,既存の感情認識データセットの時間的アノテートバージョンをキュレートし,重なり合う音声を含む2～4つの感情的音声スパンを含む記録を構築した。 標準言語モデリング目的によるこのより長いフォーマットでのトレーニングは、感情認識と時間的グラウンドのパフォーマンスの両方を劣化させ、トーン記述は感情予測のショートカットを提供する。 これらの課題に対処するために,本研究では,フルシーケンス言語モデリングと感情とタイムスタンプの相互エントロピー損失を組み合わせた教師付きトレーニング目標であるMasked Temporal Affective Grounding (M-TAG)を紹介する。 マスキングは、ショートカットへの依存を減らし、一般化を改善するために感情ラベルトークンで見える状況を変えるが、タイムスタンプの損失は、より大きな時間的エラーをペナルティ化するために距離対応の重みを含む。 EMO-TAGは,感情認識と感情的時間的グラウンドを,Flamingo-Next,Audio-Reasoner,AffectGPTの3つのベースラインに対して評価した。 その結果、既存のモデルでは、競合する感情認識性能に拘わらず、感情的時間的接地が制限されることが示唆された。

関連論文リスト

• Causal Prosody Mediation for Text-to-Speech:Counterfactual Training of Duration, Pitch, and Energy in FastSpeech2 [0.0]
  本稿では,音声合成のための因果韻律調律フレームワークを提案する。 我々のアプローチは、明示的な感情条件付けでFastSpeech2アーキテクチャを拡張します。 我々は、話者間で感情を伝達する際に、より優れた知性(低WER)と話者の一貫性を観察する。
  論文  参考訳（メタデータ） (2026-03-12T08:48:01Z)
• Beyond Classification: Towards Speech Emotion Reasoning with Multitask AudioLLMs [47.325269852330884]
  我々は,意味的に整合したエビデンスに基づく説明を行うことで,感情認識を強化する戦略を開発する。 本稿では、推論強化データ監視、デュアルエンコーダアーキテクチャ、タスク代替トレーニングを組み合わせた統合フレームワークを提案する。 IEMOCAPとMELDの実験により、我々のアプローチは感情予測精度を向上するだけでなく、生成した応答のコヒーレンスと明解なグラウンド化も向上することが示された。
  論文  参考訳（メタデータ） (2025-06-07T14:52:58Z)
• Disentangle Identity, Cooperate Emotion: Correlation-Aware Emotional Talking Portrait Generation [63.94836524433559]
  DICE-Talkは、感情と同一性を切り離し、類似した特徴を持つ感情を協調するフレームワークである。 我々は、モーダル・アテンションを通して、音声と視覚の感情の手がかりを共同でモデル化するアンタングル型感情埋め込み装置を開発した。 次に,学習可能な感情バンクを用いた相関強化感情調和モジュールを提案する。 第3に、拡散過程における感情の一貫性を強制する感情識別目標を設計する。
  論文  参考訳（メタデータ） (2025-04-25T05:28:21Z)
• Attention-based Interactive Disentangling Network for Instance-level Emotional Voice Conversion [81.1492897350032]
  感情音声変換(Emotional Voice Conversion)は、非感情成分を保存しながら、与えられた感情に応じて音声を操作することを目的とする。 本稿では,音声変換にインスタンスワイドな感情知識を活用する,意図に基づく対話型ディスタングネットワーク(AINN)を提案する。
  論文  参考訳（メタデータ） (2023-12-29T08:06:45Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• Dynamic Causal Disentanglement Model for Dialogue Emotion Detection [77.96255121683011]
  隠れ変数分離に基づく動的因果解離モデルを提案する。 このモデルは、対話の内容を効果的に分解し、感情の時間的蓄積を調べる。 具体的には,発話と隠れ変数の伝搬を推定する動的時間的ゆがみモデルを提案する。
  論文  参考訳（メタデータ） (2023-09-13T12:58:09Z)
• Dilated Context Integrated Network with Cross-Modal Consensus for Temporal Emotion Localization in Videos [128.70585652795637]
  TELは、時間的行動の局所化と比較して3つのユニークな課題を提示している。 感情は時間的ダイナミクスが非常に多様である。 微粒な時間的アノテーションは複雑で、労働集約的です。
  論文  参考訳（メタデータ） (2022-08-03T10:00:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。