論文の概要: CASE: Complementary Articulation-Aware Speech Encoder to Enhance Speech-Driven 3D Facial Animation

• arxiv url: http://arxiv.org/abs/2610.25342v1
• Date: Sun, 18 Oct 2026 15:38:23 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:22:20.877578
• Title: CASE: Complementary Articulation-Aware Speech Encoder to Enhance Speech-Driven 3D Facial Animation
• Title（参考訳）: 症例:音声駆動型3次元顔画像強調のための補足調音認識音声エンコーダ
• Abstract要約: 汎用的な自己監督型音声エンコーダは強い音響表現を提供するが,その事前学習目的は,音声駆動型3次元顔アニメーションで要求される視覚的調音ダイナミックスと明確に一致しない。 短い音声クリップと連続した3DリップメッシュVQ-VAEラテントを対比的にアライメントした補音声エンコーダCASEを提案する。
• 参考スコア（独自算出の注目度）: 1.0874100424278175
• License:
• Abstract: General-purpose self-supervised speech encoders provide strong acoustic representations, but their pretraining objectives are not explicitly aligned with the visible articulatory dynamics required by speech-driven 3D facial animation. We propose CASE (Complementary Articulation-aware Speech Encoder), a complementary speech encoder adapted by contrastively aligning short speech clips with continuous 3D lip-mesh VQ-VAE latents. After adaptation, the geometry branch is removed, and the audio-only CASE representation is fused with the baseline SSL speech representation through residual cross-attention, while retaining the motion-decoder architecture and objective. Across four VOCASET baselines, CASE reduces mean lip vertex error by 2.8-6.0%, and mean full-face vertex error decreases in every system. Under the same fusion protocol, CASE yields lower mean LVE than the unadapted AV-SE stream on all four generators, with model-dependent margins. Because adaptation uses Korean speech-geometry pairs and evaluation uses English VOCASET, the result is consistent with cross-language downstream transfer under a shared English-pretrained audio-visual prior.
• Abstract（参考訳）: 汎用的な自己監督型音声エンコーダは強い音響表現を提供するが,その事前学習目的は,音声駆動型3次元顔アニメーションで要求される視覚的調音ダイナミックスと明確に一致しない。 短い音声クリップと連続した3DリップメッシュVQ-VAEラプタントを対比的に調整した補音声エンコーダCASE(Complementary Articulation-aware Speech Encoder)を提案する。 適応後、幾何分岐を除去し、モーションデコーダのアーキテクチャと目的を維持しつつ、ベースラインのSSL音声表現と融合する。 4つのVOCASETベースラインにまたがって、CASEは平均唇頂点誤差を2.8-6.0%削減し、全てのシステムで平均顔頂点誤差を減少させる。 同じ融合プロトコルの下では、CASEはモデル依存のマージンを持つ4つのジェネレータの未適応AV-SEストリームよりも低い平均LVEを生成する。 適応は韓国語と幾何学のペアを用いており、評価は英語のVOCASETを用いているため、英語に制限された音声と視覚の共有の下では、言語間の下流転送と一致している。

関連論文リスト

• Learning Visual Speech Representations via Cross-Modal Distillation and Joint Face-Lip Modeling [19.81293326539404]
  視覚音声の明瞭さと、ヘッドポーズやビデオ解像度に対する感度が原因で、リップリーディングは依然として困難である。 本研究では, クロスモーダル蒸留とジョイント・フェイスリップ・モデリングによる堅牢な視覚表現学習のためのフレームワークであるFLAREを提案する。 FLAREは、それぞれ11.7%、13.2%、34.3%のワードエラー率で、強いリップリーディング性能を達成している。
  論文  参考訳（メタデータ） (2026-10-14T04:18:45Z)
• PAGE: Parts-Aware Guidance for Co-Speech Gesture Portrait Video Generation [91.13599273651744]
  共同音声ジェスチャービデオ生成は、単一の参照画像と音声信号からリアルで音声駆動のポートレートビデオを合成することを目的としている。 PAGE(Parts-Aware GuidancE)は,局所的な空間的忠実度とグローバルな音声・視覚的整合性を高める拡散型生成のためのフレームワークである。 大規模評価を実現するため,共同音声合成のための中国初の総合ベンチマークである中国語アナウンサー音声データセットを構築した。
  論文  参考訳（メタデータ） (2026-10-09T09:48:12Z)
• How Robust Are Neural Audio Codecs for African Speech? A Multi-Task Benchmark and the Limits of Perceptual Quality [0.26443508207046457]
  3つのアフリカの音声データセットに7つのオープンソースのニューラルコーデックをベンチマークする。 信号測度は下流の妥当性で大きく異なる。 劣化はドメインに依存し、会話ダイアログにとって最大である。
  論文  参考訳（メタデータ） (2026-09-10T17:40:32Z)
• Arti-JEPA: Adapting Video World Model to Real-Time MRI of the Vocal Tract for Speech-Production Analysis [37.674716609612325]
  リアルタイムMRI (Real-time MRI) は音声中の声道全体の動態を捉える。 本稿では,声道rtMRIをモデル化するための組込み予測アーキテクチャであるArti-JEPAを紹介する。
  論文  参考訳（メタデータ） (2026-09-09T05:58:40Z)
• From Tokens to Faces: Investigating Discrete Speech Representations for 3D Facial Animation [8.213984771916182]
  SSL機能はセグメンショナルおよびセマンティックなキューを強調し、ニューラルコーデックは音響再構成に最適化されたラテントを生成し、ASRスタイルの目的はラベルベースの空間を生成する。 2つの顔デコーダ間での顔再構成の質を比較検討し、3次元顔合成のための音声表現ファミリーを4つ評価した。 本稿では,音声と3次元顔の動きを復号化するために,共有空間,離散表現を活用可能な音声ビジュアルテキスト・音声パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-06-11T17:41:18Z)
• MELD: Mel-Spectrogram-Based Speech Language Modeling with Discrete Latent Variables [70.49308038234274]
  本稿では,エンコーダと音声モデルとを協調的に最適化する,メルスペクトル上での離散潜在変数モデルを提案する。 共同最適化は、ゼロショットテキスト音声(TTS)と音声テキスト(STT)タスクにおけるオーバーベースやその他のメルスペクトルベースのベースラインの改善をもたらすだけでなく、自動回帰メルスペクトルモデリングにおける一般的な問題を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-05-28T12:39:36Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition [52.71604809100364]
  音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。 具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。 既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
  論文  参考訳（メタデータ） (2021-10-11T00:08:48Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion [60.808838088376675]
  本稿では,明示的な韻律モデルと深層話者埋め込み学習を用いたVCシステムを提案する。 韻律補正器は音素埋め込みを取り入れ、典型的な音素持続時間とピッチ値を推定する。 変換モデルは、音素埋め込みと典型的な韻律特徴を入力として、変換された音声を生成する。
  論文  参考訳（メタデータ） (2020-11-03T13:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。