論文の概要: Personalized Cross-Modal Emotional Correlation Learning for Speech-Preserving Facial Expression Manipulation

• arxiv url: http://arxiv.org/abs/2604.25255v1
• Date: Tue, 28 Apr 2026 06:02:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.728617
• Title: Personalized Cross-Modal Emotional Correlation Learning for Speech-Preserving Facial Expression Manipulation
• Title（参考訳）: 音声保存表情操作のためのパーソナライズされたクロスモーダル感情相関学習
• Abstract要約: 音声保存表情操作は、本来の音声に結びついた口の動きを変えることなく、人間の表現力を高めることを目的としている。 現在のVisual-Language Models (VLM)は、整列した視覚的特徴と意味的特徴を抽出し、将来的な監視の源となる。 VLMをベースとしたパーソナライズされたクロスモーダル感情相関学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 63.90351637818903
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech-preserving facial expression manipulation (SPFEM) aims to enhance human expressiveness without altering mouth movements tied to the original speech. A primary challenge in this domain is the scarcity of paired data, namely aligned frames of the same individual with identical speech but different expressions, which impedes direct supervision for emotional manipulation. While current Visual-Language Models (VLMs) can extract aligned visual and semantic features, making them a promising source of supervision, their direct application is limited. To this end, we propose a Personalized Cross-Modal Emotional Correlation Learning (PCMECL) algorithm that refines VLM-based supervision through two major improvements. First, standard VLMs rely on a single generic prompt for each emotion, failing to capture expressive variations among individuals. PCMECL addresses this limitation by conditioning on individual visual information to learn personalized prompts, thereby establishing more fine-grained visual-semantic correlations. Second, even with personalization, inherent discrepancies persist between the visual and semantic feature distributions. To bridge this modality gap, PCMECL employs feature differencing to correlate the modalities, providing more precisely aligned supervision by matching the change in visual features to the change in semantic features. As a plug-and-play module, PCMECL can be seamlessly integrated into existing SPFEM models. Extensive experiments across various datasets demonstrate the superior efficacy of our algorithm.
• Abstract（参考訳）: 音声保存表情操作 (SPFEM) は, 口の動きを元の音声に結び付けることなく, 人間の表情性を高めることを目的としている。 この領域における主な課題は、ペア化されたデータの不足、すなわち同一人物の同列のフレームが同一だが表現が異なることであり、感情的な操作の直接的な監督を妨げている。 現行のVisual-Language Models (VLM)は、協調した視覚的特徴と意味的特徴を抽出できるため、監督の有望な源となっているが、その直接的なアプリケーションは限られている。 そこで本研究では,VLMに基づく監視を改良したパーソナライズされたクロスモーダル感情相関学習(PCMECL)アルゴリズムを提案する。 第一に、標準のVLMは感情ごとに1つの一般的なプロンプトに依存しており、個人間の表現的なバリエーションを捉えていない。 PCMECLはこの制限に対処するため、個々の視覚情報を条件付けしてパーソナライズされたプロンプトを学習し、よりきめ細かいビジュアル・セマンティックな相関関係を確立する。 第二に、パーソナライゼーションにおいても、視覚的特徴分布と意味的特徴分布の間に固有の相違が持続する。 このモダリティギャップを埋めるため、PCMECLは特徴差を利用してモダリティを相関させ、視覚的特徴の変化と意味的特徴の変化を一致させることにより、より正確に整合した監督を提供する。 プラグアンドプレイモジュールとして、PCMECLは既存のSPFEMモデルにシームレスに統合できる。 様々なデータセットにわたる大規模な実験は、アルゴリズムの優れた有効性を示す。

関連論文リスト

• Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis [36.79172273160707]
  表情は、感情的音声相互作用に不可欠な微妙で豊かな感情的手がかりを符号化する。 大規模な言語モデルバックボーン上に構築された顔表現対応CSSフレームワークであるFacialTalkerを提案する。 我々は、実世界のインターネット会話から完全に自動化されたパイプラインを通して収集された大規模なマルチモーダル対話データセットであるVSDD-1Kを構築した。
  論文  参考訳（メタデータ） (2026-07-27T13:42:37Z)
• Adaptive Physical-Facial Representation Fusion via Subject-Invariant Cross-Modal Prompt Tuning for Video-Based Emotion Recognition [14.850489141041017]
  映像に基づく感情認識のためのクロスモーダルなクロスチューニングプロンプトチューニング手法を提案する。 提案手法は、認識精度と一般化能力の両方において、強いベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-07T05:33:31Z)
• Learning Spatial-Temporal Coherent Correlations for Speech-Preserving Facial Expression Manipulation [75.05465510260944]
  音声保存顔表情操作(SPFEM)は、音声コンテンツに関連する口のアニメーションを注意深く維持しながら、顔の感情を変更することを目的としている。 現在の作業は、現実のシナリオにおけるSPFEM適用を制限するため、2つのアライメントフレームが同じ音声内容を示すが、感情表現では異なる、アクセス不能なペアトレーニングサンプルに依存している。 本稿では、上記の相関関係を明示的な指標としてモデル化し、その指標を統合して、表情の操作を監督し、音声コンテンツの表情アニメーションをよりよく保存する新しい時空間コヒーレント相関学習(STCCL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-04-22T06:20:10Z)
• Bidirectional Learning of Facial Action Units and Expressions via Structured Semantic Mapping across Heterogeneous Datasets [85.74213192818668]
  本研究では,異なるデータ領域下での双方向AU-FE学習のための構造化セマンティックマッピング(SSM)フレームワークを提案する。 SSMは、(1)動的AUとFEビデオから統一された顔表現を学習する共有視覚バックボーン、(2)テキストセマンティックプロトタイプ(TSP)モジュールによるセマンティックメディエーション、(3)顔行動符号化システムから派生した事前知識を組み込んだ動的優先マッピング(DPM)モジュールの3つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2026-04-12T09:08:32Z)
• Multimodal Emotion Recognition via Bi-directional Cross-Attention and Temporal Modeling [2.8037951156321377]
  本稿では,第10回ABAWチャレンジにおける表現課題に対するマルチモーダル感情認識フレームワークを提案する。 本フレームワークは,視覚および音声表現学習のための大規模事前学習モデルを構築し,それらを統合マルチモーダルアーキテクチャに統合する。 ABAW 10th EXPRベンチマークの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2026-03-12T14:20:29Z)
• Text-guided Weakly Supervised Framework for Dynamic Facial Expression Recognition [49.41688891301643]
  動的表情認識は、映像列間の顔の動きの時間的変化をモデル化することにより、感情状態の同定を目的としている。 DFERの重要な課題は、多数のフレームからなるビデオが単一の感情ラベルに割り当てられる、多対一のラベリングの問題である。 本稿では,テキスト誘導型弱教師付きフレームワークであるTG-DFERを提案する。
  論文  参考訳（メタデータ） (2025-11-14T04:49:58Z)
• Multimodal Prompt Alignment for Facial Expression Recognition [24.470095812039286]
  MPA-FERは、引き起こされた視覚的特徴の学習プロセスに対して、きめ細かいセマンティックガイダンスを提供する。 我々のフレームワークは、FERベンチマークの3つのベンチマークデータセット上で最先端の手法より優れています。
  論文  参考訳（メタデータ） (2025-06-26T05:28:57Z)
• VAEmo: Efficient Representation Learning for Visual-Audio Emotion with Knowledge Injection [50.57849622045192]
  本稿では,外部知識注入を用いた感情中心型VA表現学習のための効率的なフレームワークであるVAEmoを提案する。 VAEmoは、コンパクトな設計で最先端のパフォーマンスを実現し、統合されたクロスモーダルエンコーディングと感情認識のセマンティックガイダンスの利点を強調している。
  論文  参考訳（メタデータ） (2025-05-05T03:00:51Z)
• AMuSE: Adaptive Multimodal Analysis for Speaker Emotion Recognition in Group Conversations [39.79734528362605]
  マルチモーダルアテンションネットワークは、空間抽象の様々なレベルにおける相互モーダル相互作用をキャプチャする。 AMuSEモデルは、空間的特徴と時間的特徴の両方を、話者レベルと発話レベルという2つの濃密な記述子に凝縮する。
  論文  参考訳（メタデータ） (2024-01-26T19:17:05Z)
• CLIPER: A Unified Vision-Language Framework for In-the-Wild Facial Expression Recognition [1.8604727699812171]
  本稿では,CLIPに基づく静的および動的表情認識のための統合フレームワークを提案する。 複数式テキスト記述子(METD)を導入し,CLIPERをより解釈しやすい表現の微粒化を学習する。
  論文  参考訳（メタデータ） (2023-03-01T02:59:55Z)
• MaskCLIP: Masked Self-Distillation Advances Contrastive Language-Image Pretraining [138.86293836634323]
  MaskCLIPは、新たに提案されたマスク付き自己蒸留をコントラスト言語イメージ事前学習に組み込む。 MaskCLIPは、言語エンコーダの誘導により、線形探索、微調整、ゼロショット性能において優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-08-25T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。