Fugu-MT 論文翻訳(概要): Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis

論文の概要: Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis

arxiv url: http://arxiv.org/abs/2607.24430v1
Date: Mon, 27 Jul 2026 13:42:37 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-28 22:34:15.444025
Title: Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis
Title（参考訳）: 振り返ってみよう:会話音声合成のための高度な顔表現モデリング
Abstract要約: 表情は、感情的音声相互作用に不可欠な微妙で豊かな感情的手がかりを符号化する。大規模な言語モデルバックボーン上に構築された顔表現対応CSSフレームワークであるFacialTalkerを提案する。我々は、実世界のインターネット会話から完全に自動化されたパイプラインを通して収集された大規模なマルチモーダル対話データセットであるVSDD-1Kを構築した。
参考スコア（独自算出の注目度）: 36.79172273160707
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Conversational Speech Synthesis is a fundamental component of human-computer interaction, aiming to generate contextually appropriate, expressive, and empathetic speech. However, facial expressions encode subtle and rich affective cues that are crucial for empathetic speech interaction, whereas existing approaches often overlook this important modality. In addition, the lack of large-scale natural conversational datasets with both speech and visual modalities also limits the development of visual affect understanding in conversational settings.To address these limitations, we propose FacialTalker, a facial-expression-aware CSS framework built upon a large language model backbone. To efficiently encode facial expressions, we propose AUTokenizer, a single-codebook visual tokenizer that discretizes each frame-level facial expression into a compact token, trained with supervision from combinations of facial Action Units. We further introduce a dual direct preference optimization (DualDPO) strategy, which extends the DPO by jointly imposing preference constraints on both visual and speech token sequences, to enhance the model's understanding of facial expressions and speech semantics in multimodal conversational contexts. Moreover, we construct VSDD-1K, a large-scale multimodal dialogue dataset collected through a fully automated pipeline from real-world Internet conversations, comprising over 1,033 hours of synchronized speaker videos and speech, with more than 85\% of frames containing valid faces. Extensive objective and subjective experiments demonstrate that FacialTalker consistently outperforms strong baselines in facial-expression perception and speech synthesis quality, generating speech that is more natural, expressive, and better aligned with the conversational context. The results also validate the effectiveness of our training strategy and dataset construction pipeline.
Abstract（参考訳）: 会話音声合成は、文脈的に適切で表現的で共感的な音声を生成することを目的とした、人間とコンピュータの相互作用の基本的な構成要素である。しかしながら、表情は情緒的音声相互作用に不可欠な微妙で豊かな感情的手がかりをエンコードするが、既存のアプローチはこの重要なモダリティを見落としていることが多い。さらに、音声と視覚の両モードを併用した大規模な自然な会話データセットの欠如により、会話設定における視覚的影響理解の発達も制限され、これらの制限に対処するため、大規模な言語モデルバックボーン上に構築された顔表現対応CSSフレームワークであるFacialTalkerを提案する。顔表情を効率よく符号化するために,フレームレベルの表情をコンパクトなトークンに識別し,顔アクションユニットの組み合わせから指導する単一コードブックの視覚トークン化ツールであるAUTokenizerを提案する。さらに、視覚と音声の両方のトークンシーケンスに嗜好制約を共同で付与することでDPOを拡張し、マルチモーダルな会話コンテキストにおける表情と音声の意味の理解を深めるデュアルDPO(DualDPO)戦略を導入する。さらに、実世界の会話から完全に自動化されたパイプラインを通して収集された大規模なマルチモーダル対話データセットであるVSDD-1Kを構築し、1,033時間以上の話者ビデオと音声の同期を行い、有効顔を含むフレームの85%以上を占めた。広汎な客観的および主観的な実験により、FacialTalkerは、顔の表情知覚と音声合成品質の強いベースラインを一貫して上回り、より自然で表現的で、会話の文脈に整合した音声を生成する。また、トレーニング戦略とデータセット構築パイプラインの有効性も検証した。

関連論文リスト

Personalized Cross-Modal Emotional Correlation Learning for Speech-Preserving Facial Expression Manipulation [63.90351637818903]
音声保存表情操作は、本来の音声に結びついた口の動きを変えることなく、人間の表現力を高めることを目的としている。現在のVisual-Language Models (VLM)は、整列した視覚的特徴と意味的特徴を抽出し、将来的な監視の源となる。 VLMをベースとしたパーソナライズされたクロスモーダル感情相関学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2026-04-28T06:02:23Z)
Multimodal Emotion Recognition via Bi-directional Cross-Attention and Temporal Modeling [2.8037951156321377]
本稿では,第10回ABAWチャレンジにおける表現課題に対するマルチモーダル感情認識フレームワークを提案する。本フレームワークは,視覚および音声表現学習のための大規模事前学習モデルを構築し,それらを統合マルチモーダルアーキテクチャに統合する。 ABAW 10th EXPRベンチマークの実験結果から,提案手法の有効性が示された。
論文参考訳（メタデータ） (2026-03-12T14:20:29Z)
MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。 MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
論文参考訳（メタデータ） (2026-03-03T18:59:51Z)
Covo-Audio Technical Report [61.09708870154148]
7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
論文参考訳（メタデータ） (2026-02-10T14:31:11Z)
ES4R: Speech Encoding Based on Prepositive Affective Modeling for Empathetic Response Generation [30.006550552714938]
共感的音声対話は、言語内容だけでなく、豊富なパラ言語情報も理解する必要がある。既存の音声から音声への大きな言語モデルは、ASRの転写に依存するか、エンコーダを使用して潜在表現を抽出する。音声に基づく共感応答生成のためのフレームワークである textbfES4R を提案する。
論文参考訳（メタデータ） (2026-01-16T10:26:50Z)
TAVID: Text-Driven Audio-Visual Interactive Dialogue Generation [72.46711449668814]
本稿では,対話型顔と会話型音声の両方を同期的に生成する統合フレームワークであるTAVIDを紹介する。本システムの評価は, 顔のリアリズム, 頭部の応答性, ダイアディック相互作用, 音声品質の4つの側面にまたがる。
論文参考訳（メタデータ） (2025-12-23T12:04:23Z)
Seeing is Believing: Emotion-Aware Audio-Visual Language Modeling for Expressive Speech Generation [26.389793087374432]
音声合成のためのAVLM(Audio-Visual Language Model)を提案する。複数のビジュアルエンコーダとマルチモーダル融合戦略を事前学習中に検討し、最も効果的な統合手法を同定する。
論文参考訳（メタデータ） (2025-08-22T08:08:45Z)
Text2Lip: Progressive Lip-Synced Talking Face Generation from Text via Viseme-Guided Rendering [53.2204901422631]
Text2Lipは、解釈可能な音声-視覚ブリッジを構築するビセメ中心のフレームワークである。 Text2Lipは、意味的忠実性、視覚的リアリズム、モダリティの堅牢性において、既存のアプローチよりも優れていることを示す。
論文参考訳（メタデータ） (2025-08-04T12:50:22Z)
OpenOmni: Advancing Open-Source Omnimodal Large Language Models with Progressive Multimodal Alignment and Real-Time Self-Aware Emotional Speech Synthesis [95.27191872116306]
nameは、一様アライメントと音声生成を統合する2段階のトレーニングフレームワークである。雑用、視覚言語、音声言語ベンチマークで最先端モデルを上回っている。 nameは、非自己回帰モードで1秒のレイテンシでリアルタイムの音声生成を実現する。
論文参考訳（メタデータ） (2025-01-08T15:18:09Z)
VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction [114.35537839800372]
音声はマルチモーダル対話システムにおいて重要な役割を担い、視覚と音声の両方にハイパフォーマンスを実装することは依然として重要な課題である。視覚情報と音声情報の両方を段階的に学習する多段階学習手法を提案する。提案手法は, 視覚言語能力の強いだけでなく, ASR と TTS モジュールを分離することなく, 音声音声対話を効率的に行うことができる。
論文参考訳（メタデータ） (2025-01-03T18:59:52Z)
AVI-Talking: Learning Audio-Visual Instructions for Expressive 3D Talking Face Generation [28.71632683090641]
本稿では,表情生成のための音声・視覚指導システムを提案する。人間の音声から直接顔の動きを学習する代わりに、私たちの2段階の戦略はLLMが最初に音声情報を解釈することを含む。この2段階のプロセスは、LLMの組み込みと組み合わせて、モデルの解釈可能性を高め、ユーザーに命令を理解する柔軟性を提供する。
論文参考訳（メタデータ） (2024-02-25T15:51:05Z)
Write-a-speaker: Text-based Emotional and Rhythmic Talking-head Generation [28.157431757281692]
本研究では,高忠実度表情と頭部動作を合成するテキストベーストーキングヘッドビデオ生成フレームワークを提案する。本フレームワークは,話者に依存しないステージと話者固有のステージから構成される。本アルゴリズムは,様々な表情や頭部の動きを含む高品質なフォトリアリスティックなトーキングヘッドビデオを実現する。
論文参考訳（メタデータ） (2021-04-16T09:44:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。