論文の概要: EMODE: Dynamic Para-Semantic Experts for Emotion-Aware Speech Language Modeling
- arxiv url: http://arxiv.org/abs/2610.06956v1
- Date: Sat, 03 Oct 2026 14:33:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.478755
- Title: EMODE: Dynamic Para-Semantic Experts for Emotion-Aware Speech Language Modeling
- Title（参考訳）: EMODE:感情認識音声言語モデリングのための動的パラセマンティックエキスパート
- Abstract要約: EMODEは、DPSEを中心に構築された感情認識型言語モデルである。
DPSEは連続した音声特徴を意味的・パラ言語的な経路に分解する。
EMODEは、セマンティックウォームアップ、パラ言語的アクティベーション、共同改良からなる3段階のカリキュラムで訓練されている。
- 参考スコア（独自算出の注目度）: 18.151006633842268
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large speech language models have demonstrated strong capabilities in unified cross-modal understanding and generation, yet paralinguistic cues, especially emotion, remain difficult to preserve. Existing systems typically rely on entangled acoustic representations, which allow the underlying language model to depend excessively on recovered lexical content instead of grounding its behavior in acoustic-prosodic evidence. We address this limitation with EMODE, an emotion-aware speech language model built around \textbf{Dynamic Para-Semantic Experts (DPSE)}. DPSE decomposes continuous speech features into semantic and paralinguistic pathways, routes them dynamically, and fuses them before integration into the language model. To turn this structural decomposition into functional specialization, EMODE is trained with a three-stage curriculum consisting of semantic warm-up, paralinguistic activation, and joint refinement, guided by Orthogonal Expert Guidance (OEG), Semantic-to-Acoustic Alignment (SAA), and Gating Diversity Regularization (GDR). Experiments on SER test, empathetic response evaluation, and the newly constructed bilingual MEPA benchmark show that EMODE improves the balance between lexical fidelity and emotional sensitivity, strengthens affect-grounded response generation, and exposes the value of explicit para-semantic factorization for robust cross-corpus emotion understanding.
- Abstract（参考訳）: 大規模な言語モデルでは、統合された言語間理解と生成において強力な能力を示してきたが、パラ言語的手がかり、特に感情は保存し難いままである。
既存のシステムは、典型的には絡み合った音響表現に依存しており、基礎となる言語モデルは、音響・韻律的証拠にその振る舞いを基礎付けるのではなく、回復した語彙的内容に過度に依存することができる。
本稿では,感情認識型言語モデルであるEMODEを用いて,この制限に対処する。
DPSEは、連続した音声特徴を意味的およびパラ言語的経路に分解し、それらを動的にルーティングし、言語モデルに統合する前にそれらを融合する。
この構造分解を機能的特殊化に変換するため、EMODEは、意味的ウォームアップ、パラ言語的アクティベーション、共同改善からなる3段階のカリキュラムで訓練され、Orthogonal Expert Guidance (OEG)、Semantic-to-Acoustic Alignment (SAA)、Gating Diversity Regularization (GDR)によって指導されている。
SERテスト,共感応答評価,新たに構築されたバイリンガルMEPAベンチマークの結果,EMODEは語彙の忠実度と感情感受性のバランスを改善し,感情接地応答生成を強化し,強健なクロスコーパス感情理解のための明示的パラセマンティック因子化の価値を明らかにする。
関連論文リスト
- Sparse Autoencoders for Interpretable Emotion Control in Text-to-Speech [11.976178882036466]
我々は,大規模言語モデル (LLM) に基づく音声合成システムにおける意味的隠蔽状態の感情関連変動を分析した。
分析の結果、感情の変化は複数のスパースな潜在特徴に分散し、小さなサブセットに介入することで、解釈可能な感情制御が可能であることが判明した。
バックボーンパラメータを変更することなく、双方向の感情誘導と抑制のための特徴レベル介入フレームワークを導入する。
論文 参考訳（メタデータ） (2026-05-31T22:39:45Z) - On the Emotion Understanding of Synthesized Speech [63.13411068766772]
感情は音声対話における中核的なパラ言語的特徴である。
現在の音声感情認識(SER)モデルは、合成音声に一般化できない。
生成音声言語モデル(SLM)は、パラ言語的手がかりを無視しながら、テキスト意味論から感情を推測する傾向がある。
論文 参考訳（メタデータ） (2026-03-17T13:11:14Z) - VowelPrompt: Hearing Speech Emotions from Text via Vowel-level Prosodic Augmentation [34.905479321921575]
このフレームワークは、解釈可能な、きめ細かい母音レベルの韻律的手がかりで、大きな言語モデルを拡張する。
VowelPromptは、ゼロショット、微調整、クロスドメイン、クロス言語条件下で、最先端の感情認識手法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2026-02-06T00:09:14Z) - ES4R: Speech Encoding Based on Prepositive Affective Modeling for Empathetic Response Generation [30.006550552714938]
共感的音声対話は、言語内容だけでなく、豊富なパラ言語情報も理解する必要がある。
既存の音声から音声への大きな言語モデルは、ASRの転写に依存するか、エンコーダを使用して潜在表現を抽出する。
音声に基づく共感応答生成のためのフレームワークである textbfES4R を提案する。
論文 参考訳（メタデータ） (2026-01-16T10:26:50Z) - A Unified Spoken Language Model with Injected Emotional-Attribution Thinking for Human-like Interaction [50.05919688888947]
本稿では,感情的インテリジェンスのための統一言語モデルを提案する。
IEATは、ユーザーの感情状態とその根本原因をモデルの内部推論プロセスに組み込んでおり、明示的な監督として扱われるのではなく、感情を意識した推論を内部化することができる。
HumDial(Human-like Spoken Dialogue Systems Challenge)Emotional Intelligenceベンチマークの実験は、提案手法が感情軌道モデリング、感情的推論、共感的応答生成にまたがるトップランクのパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2026-01-08T14:07:30Z) - Beyond Classification: Towards Speech Emotion Reasoning with Multitask AudioLLMs [47.325269852330884]
我々は,意味的に整合したエビデンスに基づく説明を行うことで,感情認識を強化する戦略を開発する。
本稿では、推論強化データ監視、デュアルエンコーダアーキテクチャ、タスク代替トレーニングを組み合わせた統合フレームワークを提案する。
IEMOCAPとMELDの実験により、我々のアプローチは感情予測精度を向上するだけでなく、生成した応答のコヒーレンスと明解なグラウンド化も向上することが示された。
論文 参考訳（メタデータ） (2025-06-07T14:52:58Z) - Learning Interpretable Representations Leads to Semantically Faithful EEG-to-Text Generation [52.51005875755718]
我々は脳波からテキストへの復号に焦点をあて、後部崩壊のレンズを通して幻覚の問題に対処する。
脳波とテキスト間の情報容量のミスマッチを認め、デコードタスクをコア意味のセマンティックな要約として再設計する。
パブリックなZuCoデータセットの実験では、GLIMが一貫して、流動的なEEG基底文を生成することが示されている。
論文 参考訳（メタデータ） (2025-05-21T05:29:55Z) - GatedxLSTM: A Multimodal Affective Computing Approach for Emotion Recognition in Conversations [35.63053777817013]
GatedxLSTMは、会話におけるマルチモーダル感情認識(ERC)モデルである。
話者と会話相手の双方の声と書き起こしを考慮し、感情的なシフトを駆動する最も影響力のある文章を特定する。
4クラスの感情分類において,オープンソース手法間でのSOTA(State-of-the-art)性能を実現する。
論文 参考訳（メタデータ） (2025-03-26T18:46:18Z) - UMETTS: A Unified Framework for Emotional Text-to-Speech Synthesis with Multimodal Prompts [64.02363948840333]
UMETTSは、複数のモーダルからの感情的手がかりを利用して、表現力が高く感情的に共鳴する音声を生成する新しいフレームワークである。
EP-Alignは対照的な学習を用いて、テキスト、オーディオ、視覚的モダリティをまたいだ感情的特徴を整合させ、マルチモーダル情報のコヒーレントな融合を保証する。
EMI-TTSは、アライメントされた感情埋め込みと最先端のTSモデルを統合し、意図した感情を正確に反映した音声を合成する。
論文 参考訳（メタデータ） (2024-04-29T03:19:39Z) - Reinforcement Learning for Emotional Text-to-Speech Synthesis with
Improved Emotion Discriminability [82.39099867188547]
感情的テキスト音声合成(ETTS)は近年大きく進歩している。
i-ETTSと呼ばれるETTSの新しい対話型トレーニングパラダイムを提案する。
i-ETTSの最適化品質を確保するため、強化学習による反復トレーニング戦略を策定します。
論文 参考訳（メタデータ） (2021-04-03T13:52:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。