論文の概要: Learning Spatial-Temporal Coherent Correlations for Speech-Preserving Facial Expression Manipulation

• arxiv url: http://arxiv.org/abs/2604.20226v1
• Date: Wed, 22 Apr 2026 06:20:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:10.989593
• Title: Learning Spatial-Temporal Coherent Correlations for Speech-Preserving Facial Expression Manipulation
• Title（参考訳）: 音声保存表情操作のための空間的・時間的コヒーレント相関の学習
• Authors: Tianshui Chen, Jianman Lin, Zhijing Yang, Chunmei Qing, Guangrun Wang, Liang Lin,
• Abstract要約: 音声保存顔表情操作(SPFEM)は、音声コンテンツに関連する口のアニメーションを注意深く維持しながら、顔の感情を変更することを目的としている。 現在の作業は、現実のシナリオにおけるSPFEM適用を制限するため、2つのアライメントフレームが同じ音声内容を示すが、感情表現では異なる、アクセス不能なペアトレーニングサンプルに依存している。 本稿では、上記の相関関係を明示的な指標としてモデル化し、その指標を統合して、表情の操作を監督し、音声コンテンツの表情アニメーションをよりよく保存する新しい時空間コヒーレント相関学習(STCCL)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 75.05465510260944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech-preserving facial expression manipulation (SPFEM) aims to modify facial emotions while meticulously maintaining the mouth animation associated with spoken content. Current works depend on inaccessible paired training samples for the person, where two aligned frames exhibit the same speech content yet differ in emotional expression, limiting the SPFEM applications in real-world scenarios. In this work, we discover that speakers who convey the same content with different emotions exhibit highly correlated local facial animations in both spatial and temporal spaces, providing valuable supervision for SPFEM. To capitalize on this insight, we propose a novel spatial-temporal coherent correlation learning (STCCL) algorithm, which models the aforementioned correlations as explicit metrics and integrates the metrics to supervise manipulating facial expression and meanwhile better preserving the facial animation of spoken content. To this end, it first learns a spatial coherent correlation metric, ensuring that the visual correlations of adjacent local regions within an image linked to a specific emotion closely resemble those of corresponding regions in an image linked to a different emotion. Simultaneously, it develops a temporal coherent correlation metric, ensuring that the visual correlations of specific regions across adjacent image frames associated with one emotion are similar to those in the corresponding regions of frames associated with another emotion. Recognizing that visual correlations are not uniform across all regions, we have also crafted a correlation-aware adaptive strategy that prioritizes regions that present greater challenges. During SPFEM model training, we construct the spatial-temporal coherent correlation metric between corresponding local regions of the input and output image frames as an additional loss to supervise the generation process.
• Abstract（参考訳）: 音声保存顔表情操作(SPFEM)は、音声コンテンツに関連する口のアニメーションを注意深く維持しながら、顔の感情を変更することを目的としている。 現在の作業は、現実のシナリオにおけるSPFEM適用を制限するため、2つのアライメントフレームが同じ音声内容を示すが、感情表現では異なる、アクセス不能なペアトレーニングサンプルに依存している。 本研究では,同じコンテンツを異なる感情で伝達する話者が,空間空間と時間空間の両方において,高度に相関した局所的な表情を呈示し,SPFEMに価値ある監督を与えることを明らかにする。 この知見を活かすために、上記の相関を明示的な指標としてモデル化し、これらの指標を統合して、表情の操作を監督し、音声コンテンツの顔のアニメーションをよりよく保存する、新しい時空間コヒーレント相関学習(STCCL)アルゴリズムを提案する。 この目的のために、まず空間コヒーレント相関距離を学習し、特定の感情にリンクされた画像内の隣接局所領域の視覚的相関が、異なる感情にリンクされた画像内の対応する領域のものとよく似ていることを保証する。 同時に、時間的コヒーレント相関メトリクスを開発し、ある感情に関連付けられた隣接画像フレーム間の特定領域の視覚的相関が、別の感情に関連付けられたフレームの対応する領域のものと類似していることを保証する。 視覚的相関がすべての領域に一様でないことを認識し、より大きな課題を示す領域を優先する相関対応戦略を考案した。 本研究では,SPFEMモデルトレーニングにおいて,入力画像フレームと出力画像フレームの対応する局所領域間の空間的・時間的コヒーレント相関尺度を構築し,生成過程を監督する。

関連論文リスト

• MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
  Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。 既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。 MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T18:59:51Z)
• ARPGNet: Appearance- and Relation-aware Parallel Graph Attention Fusion Network for Facial Expression Recognition [17.573536098485274]
  本稿では,外見と関係情報の空間的・時間的表現を相互に拡張したARPGNetを学習するために,ARPGNet(Aearance- and Relation-aware Parallel Graph attention fusion Network)を提案する。 具体的には、顔領域間の関係をモデル化するために、顔領域関係グラフを構築し、グラフ注意機構を活用する。 結果として得られたリレーショナル表現シーケンスとCNNベースの外観表現シーケンスは、相互の相互作用と拡張のために並列グラフ注意融合モジュールに供給される。
  論文  参考訳（メタデータ） (2025-11-27T07:54:34Z)
• From Coarse to Nuanced: Cross-Modal Alignment of Fine-Grained Linguistic Cues and Visual Salient Regions for Dynamic Emotion Recognition [7.362433184546492]
  動的表情認識は、時間的に変化する顔の動きから人間の感情を識別することを目的としている。 本手法は,動的な動作モデリング,意味的テキストの洗練,トークンレベルのクロスモーダルアライメントを統合し,感情的に有意な特徴の正確な局所化を容易にする。
  論文  参考訳（メタデータ） (2025-07-16T04:15:06Z)
• Spatiotemporal Emotional Synchrony in Dyadic Interactions: The Role of Speech Conditions in Facial and Vocal Affective Alignment [0.0]
  非重複音声は、より明確な感情的調整を促進する。 重なり合う言葉は同期を乱す。 指向性パターンでは, 顔の表情が発話に先行する傾向がみられた。
  論文  参考訳（メタデータ） (2025-04-29T14:41:55Z)
• Disentangle Identity, Cooperate Emotion: Correlation-Aware Emotional Talking Portrait Generation [63.94836524433559]
  DICE-Talkは、感情と同一性を切り離し、類似した特徴を持つ感情を協調するフレームワークである。 我々は、モーダル・アテンションを通して、音声と視覚の感情の手がかりを共同でモデル化するアンタングル型感情埋め込み装置を開発した。 次に,学習可能な感情バンクを用いた相関強化感情調和モジュールを提案する。 第3に、拡散過程における感情の一貫性を強制する感情識別目標を設計する。
  論文  参考訳（メタデータ） (2025-04-25T05:28:21Z)
• Two in One Go: Single-stage Emotion Recognition with Decoupled Subject-context Transformer [78.35816158511523]
  単段階の感情認識手法として,DSCT(Decoupled Subject-Context Transformer)を用いる。 広範に使われている文脈認識型感情認識データセットであるCAER-SとEMOTICの単段階フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-04-26T07:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。