論文の概要: PAGE: Parts-Aware Guidance for Co-Speech Gesture Portrait Video Generation

• arxiv url: http://arxiv.org/abs/2610.13301v1
• Date: Fri, 09 Oct 2026 09:48:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.51064
• Title: PAGE: Parts-Aware Guidance for Co-Speech Gesture Portrait Video Generation
• Title（参考訳）: PAGE: 音声ジェスチャー画像生成のためのパーツガイド
• Abstract要約: 共同音声ジェスチャービデオ生成は、単一の参照画像と音声信号からリアルで音声駆動のポートレートビデオを合成することを目的としている。 PAGE(Parts-Aware GuidancE)は,局所的な空間的忠実度とグローバルな音声・視覚的整合性を高める拡散型生成のためのフレームワークである。 大規模評価を実現するため,共同音声合成のための中国初の総合ベンチマークである中国語アナウンサー音声データセットを構築した。
• 参考スコア（独自算出の注目度）: 91.13599273651744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Co-speech gesture video generation aims to synthesize realistic, audio-driven portrait videos from a single reference image and a speech signal. Despite advances in visual quality, diffusion-based approaches still suffer from degraded local details and imperfect audio-visual alignment. We present PAGE (Parts-Aware GuidancE), a general, backbone-agnostic optimization framework for diffusion-based generation that enhances local spatial fidelity and global audio-visual consistency at both the training-objective and denoising-trajectory levels. During training, we propose Parts-Specific Reweighting (PSR), which adaptively increases supervision in semantically important regions such as lips, eyes, and hands, improving visual fidelity in perceptually critical areas. During inference, we introduce Consistency Classifier Guidance (CCG), an audio-conditioned latent classifier that identifies and corrects audio-visual inconsistencies in the generated video. We further design Differential Guidance (DG), an efficient inference strategy that refines facial and body motion separately while avoiding cross-region interference. To enable large-scale evaluation, we construct the Chinese Announcer Speech (CAS) dataset, the first comprehensive Chinese benchmark for co-speech gesture portrait video generation. Compared with the widely used PATS dataset, CAS includes substantially more identities, video clips, and scene diversity. Extensive experiments on both PATS and CAS demonstrate that PAGE achieves state-of-the-art performance in perceptual quality, gesture diversity, and audio-visual alignment. Project page: https://aigc-explorer.github.io/PAGE/.
• Abstract（参考訳）: 共同音声ジェスチャービデオ生成は、単一の参照画像と音声信号からリアルで音声駆動のポートレートビデオを合成することを目的としている。 視覚的品質の進歩にもかかわらず、拡散に基づくアプローチは依然として局所的な詳細の劣化と不完全な音声・視覚的アライメントに悩まされている。 PAGE(Parts-Aware GuidancE)は,局所的空間的忠実度と大域的オーディオ視覚的整合性を高める拡散型生成のための一般的なバックボーンに依存しない最適化フレームワークである。 トレーニング中,唇,目,手などの意味的に重要な領域の監督を適応的に促進し,知覚的に重要な領域における視覚的忠実度を向上させるパート比重強調法(PSR)を提案する。 推論中に、生成されたビデオの音声・視覚的不整合を識別し、補正するオーディオ条件付き潜時分類器である、一貫性分類誘導(CCG)を導入する。 さらに、領域間干渉を避けつつ、顔と体の動きを別々に洗練する効率的な推論戦略である差分誘導(DG)を設計する。 大規模評価を実現するため,共同音声合成のための中国初の総合ベンチマークである中国語アナウンサー音声(CAS)データセットを構築した。 広く使われているPATSデータセットと比較すると、CASには、かなり多くのアイデンティティ、ビデオクリップ、シーンの多様性が含まれている。 PATSとCASの双方での大規模な実験により、PAGEは知覚品質、ジェスチャーの多様性、オーディオ視覚アライメントにおいて最先端のパフォーマンスを達成することが示された。 プロジェクトページ:https://aigc-explorer.github.io/PAGE/。

関連論文リスト

• DAVE: A Decoupled Audio-Visual Enhancement Framework for Real-World Speech Separation [4.041253468990907]
  実世界の音声分離のための分離型音声視覚強調フレームワークであるDAVEについて述べる。 データ不足問題に対処するため,公開ミーティングコーパスから生成した219,411個の混合物を混合した大規模トレーニングコーパスであるDAVE-Corpusを構築した。 さらに,シーンルーティング,GANに基づくデノナイジング,大音量正規化を非参照パーティション内でのみ適用可能な,認証された選択的拡張チェーンを開発した。
  論文  参考訳（メタデータ） (2026-08-10T08:41:28Z)
• Audio-Driven Universal Gaussian Head Avatars [66.56656075831954]
  本稿では,音声駆動型ユニバーサルフォトリアリスティックアバター合成法について紹介する。 個人に依存しない音声モデルと私たちの小説Universal Head Avatar Priorを組み合わせたものです。 我々の手法は、外観の詳細なモデリングとレンダリングを考慮に入れた最初の一般的なオーディオ駆動アバターモデルである。
  論文  参考訳（メタデータ） (2025-09-23T12:46:43Z)
• A Unit Enhancement and Guidance Framework for Audio-Driven Avatar Video Generation [0.0]
  Parts-Aware Audio-driven Human Animation(PAHA)は、オーディオ駆動上半身アニメーションのためのユニット拡張およびガイダンスフレームワークである。 PAHAは、音声モーションアライメントやビデオ関連評価において、既存の手法よりも大幅に優れている。 我々は,中国初の公開ニュースアンカー音声データセットであるCNASを構築し,この分野の研究と検証を進めた。
  論文  参考訳（メタデータ） (2025-05-06T15:03:58Z)
• Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners [69.70590867769408]
  ビデオとオーディオのコンテンツ制作は、映画産業とプロのユーザーにとって重要な技術である。 既存の拡散に基づく手法は、ビデオと音声を別々に生成する。 本研究では,このギャップを埋めることを目的として,クロス・ビジュアル・オーディオとジョイント・ヴィジュアル・オーディオ生成のためのフレームワークを慎重に設計した。
  論文  参考訳（メタデータ） (2024-02-27T17:57:04Z)
• Cooperative Dual Attention for Audio-Visual Speech Enhancement with Facial Cues [80.53407593586411]
  頑健な音声音声強調(AVSE)のための唇領域を超えて顔の手がかりを活用することに注力する。 本稿では,音声関連情報を無視し,音声関連情報を顔の手がかりで捉え,AVSEの音声信号と動的に統合するDual Attention Cooperative Framework(DualAVSE)を提案する。
  論文  参考訳（メタデータ） (2023-11-24T04:30:31Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。