論文の概要: Sparse Autoencoders for Interpretable Emotion Control in Text-to-Speech
- arxiv url: http://arxiv.org/abs/2606.01479v1
- Date: Sun, 31 May 2026 22:39:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:29.727397
- Title: Sparse Autoencoders for Interpretable Emotion Control in Text-to-Speech
- Title（参考訳）: テキスト音声における解釈可能な感情制御のためのスパースオートエンコーダ
- Authors: Hongfei Du, Jiacheng Shi, Sidi Lu, Gang Zhou, Ye Gao,
- Abstract要約: 我々は,大規模言語モデル (LLM) に基づく音声合成システムにおける意味的隠蔽状態の感情関連変動を分析した。
分析の結果、感情の変化は複数のスパースな潜在特徴に分散し、小さなサブセットに介入することで、解釈可能な感情制御が可能であることが判明した。
バックボーンパラメータを変更することなく、双方向の感情誘導と抑制のための特徴レベル介入フレームワークを導入する。
- 参考スコア（独自算出の注目度）: 11.976178882036466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Integrating large language models (LLMs) into text-to-speech (TTS) systems has improved speech expressiveness, yet interpretable emotional control remains challenging. Existing approaches primarily rely on external conditioning or global activation steering, offering limited insight into the internal representations underlying emotional control. In this work, we analyze emotion-related variation in the semantic hidden states of LLM-based TTS models using sparse autoencoders (SAEs) to identify sparse latent features. Our analysis shows that emotional variation is distributed across multiple sparse latent features, while intervening on a small subset enables interpretable emotion control. Building on this observation, we introduce a feature-level intervention framework for bidirectional emotion induction and suppression without modifying backbone parameters. We further show that distinct latent features are associated with specific acoustic attributes (e.g., pitch), suggesting that emotional expression arises from coordinated latent contributions rather than a single global shift. Empirically, steering these sparse latent features achieves comparable or superior emotion induction and suppression performance relative to global steering and existing TTS baselines.
- Abstract（参考訳）: 大規模言語モデル(LLM)をテキスト音声システム(TTS)に統合することは、音声表現性を向上させるが、解釈可能な感情制御は依然として困難である。
既存のアプローチは主に外的条件付けやグローバルなアクティベーション・ステアリングに依存しており、感情制御の根底にある内部的な表現について限られた洞察を与えている。
本研究では, スパースオートエンコーダ (SAE) を用いて, LLM に基づく TTS モデルの意味的隠蔽状態の感情関連変動を分析し, スパース潜在特徴を同定する。
分析の結果、感情の変化は複数のスパースな潜在特徴に分散し、小さなサブセットに介入することで、解釈可能な感情制御が可能であることが判明した。
この観察に基づいて、バックボーンパラメータを変更することなく、双方向の感情誘導と抑制のための特徴レベル介入フレームワークを導入する。
さらに,特定の音響特性(例えばピッチ)に関連性があることが示され,一つのグローバルシフトではなく,協調された潜在的貢献から感情表現が生じることが示唆された。
経験的に、これらのスパース潜在機能をステアリングすることは、グローバルステアリングと既存のTSベースラインと比較して、同等または優れた感情誘導と抑制性能を達成する。
関連論文リスト
- From Syntax to Emotion: A Mechanistic Analysis of Emotion Inference in LLMs [1.4692712025142225]
大規模言語モデル(LLM)における感情認識の内部メカニズムについて検討する。
層間におけるスパース特徴アクティベーションの解析により,一貫した3相情報フローを同定する。
感情表現は感情間で共有される特徴と感情特有の特徴の両方から構成されることを示す。
論文 参考訳（メタデータ） (2026-04-28T17:03:16Z) - Linguistic Signatures for Enhanced Emotion Detection [0.802904964931021]
本研究では,言語的特徴がテキストにおける感情認識のための信頼性の高い解釈可能な信号として機能するかどうかを検討する。
13の英語データセットから感情特異的言語シグネチャを抽出し、これらの特徴をトランスフォーマーモデルに組み込むことがパフォーマンスに与える影響を評価する。
高レベルの言語的特徴に富んだRoBERTaベースのモデルは、GoEmotionsベンチマークで最大2.4マクロF1という一貫した性能向上を達成する。
論文 参考訳（メタデータ） (2026-03-04T10:48:40Z) - ADEPT: RL-Aligned Agentic Decoding of Emotion via Evidence Probing Tools -- From Consensus Learning to Ambiguity-Driven Emotion Reasoning [67.22219034602514]
ADEPT(Agentic Decoding of Emotion via Evidence Probing Tools)は,感情認識をマルチターン探索プロセスとして再構成するフレームワークである。
ADEPTはSLLMを進化する候補感情を維持するエージェントに変換し、専用のセマンティックおよび音響探査ツールを適応的に呼び出す。
ADEPTは、ほとんどの設定において主感情の精度を向上し、微妙な感情の特徴を著しく改善することを示した。
論文 参考訳（メタデータ） (2026-02-13T08:33:37Z) - CoCoEmo: Composable and Controllable Human-Like Emotional TTS via Activation Steering [25.10244503397448]
人間の言論における感情表現はニュアンス的で構成的であり、しばしば複数の矛盾する感情的な手がかりを含む。
ほとんどの表現力のあるテキスト音声システムは、単一の発話レベルの感情を強制し、感情の多様性を崩壊させ、混合あるいはテキスト感情のミスマッチした表現を抑制する。
本稿では,構成可能な混合感情合成と信頼性のあるテキスト感情ミスマッチ合成を可能にする定量的かつ制御可能なステアリングフレームワークとマルチレータ評価プロトコルを提案する。
論文 参考訳（メタデータ） (2026-02-03T11:45:00Z) - EmoShift: Lightweight Activation Steering for Enhanced Emotion-Aware Speech Synthesis [36.831497786147864]
EmoSteerレイヤを組み込んだ軽量なアクティベーションステアリングフレームワークであるEmoShiftを提案する。
EmoShiftは出力埋め込み空間内の各ターゲット感情に対するステアリングベクトルを学習し、その潜在オフセットをキャプチャし、安定した適切な表現を維持する。
完全な微調整の1/30未満のトレーニング可能なパラメータは10Mに過ぎず、EmoShiftはゼロショットと完全に微調整されたベースラインを客観的および主観的な評価で上回っている。
論文 参考訳（メタデータ） (2026-01-30T11:50:23Z) - Text-guided Weakly Supervised Framework for Dynamic Facial Expression Recognition [49.41688891301643]
動的表情認識は、映像列間の顔の動きの時間的変化をモデル化することにより、感情状態の同定を目的としている。
DFERの重要な課題は、多数のフレームからなるビデオが単一の感情ラベルに割り当てられる、多対一のラベリングの問題である。
本稿では,テキスト誘導型弱教師付きフレームワークであるTG-DFERを提案する。
論文 参考訳（メタデータ） (2025-11-14T04:49:58Z) - UDDETTS: Unifying Discrete and Dimensional Emotions for Controllable Emotional Text-to-Speech [61.989360995528905]
制御可能な感情的TTSのための離散的感情と次元的感情を統一する普遍的なフレームワークであるUDDETTSを提案する。
このモデルは、次元的感情記述のための解釈可能なArousal-Dominance-Valence(ADV)空間を導入し、離散的な感情ラベルまたは非線形に定量化されたADV値によって駆動される感情制御をサポートする。
実験の結果, UDDETTSは3次元の線形感情制御を実現し, エンドツーエンドの感情音声合成能力に優れていた。
論文 参考訳（メタデータ） (2025-05-15T12:57:19Z) - GatedxLSTM: A Multimodal Affective Computing Approach for Emotion Recognition in Conversations [35.63053777817013]
GatedxLSTMは、会話におけるマルチモーダル感情認識(ERC)モデルである。
話者と会話相手の双方の声と書き起こしを考慮し、感情的なシフトを駆動する最も影響力のある文章を特定する。
4クラスの感情分類において,オープンソース手法間でのSOTA(State-of-the-art)性能を実現する。
論文 参考訳（メタデータ） (2025-03-26T18:46:18Z) - UMETTS: A Unified Framework for Emotional Text-to-Speech Synthesis with Multimodal Prompts [64.02363948840333]
UMETTSは、複数のモーダルからの感情的手がかりを利用して、表現力が高く感情的に共鳴する音声を生成する新しいフレームワークである。
EP-Alignは対照的な学習を用いて、テキスト、オーディオ、視覚的モダリティをまたいだ感情的特徴を整合させ、マルチモーダル情報のコヒーレントな融合を保証する。
EMI-TTSは、アライメントされた感情埋め込みと最先端のTSモデルを統合し、意図した感情を正確に反映した音声を合成する。
論文 参考訳（メタデータ） (2024-04-29T03:19:39Z) - Dynamic Causal Disentanglement Model for Dialogue Emotion Detection [77.96255121683011]
隠れ変数分離に基づく動的因果解離モデルを提案する。
このモデルは、対話の内容を効果的に分解し、感情の時間的蓄積を調べる。
具体的には,発話と隠れ変数の伝搬を推定する動的時間的ゆがみモデルを提案する。
論文 参考訳（メタデータ） (2023-09-13T12:58:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。