論文の概要: Hi-Singers: A Comprehensive High-Quality Dataset for Expressive Audio-Driven Singing Head Synthesis

• arxiv url: http://arxiv.org/abs/2609.22264v1
• Date: Mon, 07 Sep 2026 12:05:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.81136
• Title: Hi-Singers: A Comprehensive High-Quality Dataset for Expressive Audio-Driven Singing Head Synthesis
• Title（参考訳）: Hi-Singers: 音声駆動型歌声頭合成のための総合的高品質データセット
• Abstract要約: Hi-Singersは、ヘッドシンセサイザーに特化して最適化された、最初の大規模で高品質なイン・ザ・ワイドビデオデータセットである。 ハイシンガーは厳格な自動および手動フィルタリングパイプラインを実行し、厳密なセマンティックアテンジェンス、高解像度レンダリング、安定した動きを保証する。 3D係数や拡散に基づくモデルを含む多様なアーキテクチャに対する実験は、Hi-Singerが一貫して、あらゆる次元におけるパフォーマンスを大幅に向上することを示した。
• 参考スコア（独自算出の注目度）: 17.91461054664902
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: State-of-the-art models for audio-driven digital human generation have achieved photo-realistic results in talking-head synthesis. However, extending these models to singing-head synthesis remains challenging due to a significant Domain Gap: singing requires more exaggerated expressions, vivid jaw openings, and precise rhythmic synchronization. Current models, primarily trained on speech datasets, often struggle with "rhythmic drift" and constrained dynamics. To address this, we introduce Hi-Singers, the first large-scale, high-quality, in-the-wild video dataset specifically tailored for singing head synthesis. Hi-Singers undergoes a rigorous automated and manual filtering pipeline, ensuring strict thematic adherence, high-resolution rendering, and stable motion, resulting in 29,608 video segments totaling approximately 170 hours. We further establish a dedicated evaluation benchmark balanced across linguistic and musical styles. Extensive experiments across diverse architectures, including 3D-coefficient and diffusion-based models, demonstrate that Hi-Singers consistently and significantly improves performance across all dimensions. Specifically, it enables models to achieve superior visual realism, enhanced lip-sync consistency, and more precise rhythmic dynamics, effectively bridging the domain gap and setting a new performance standard for the singing synthesis task. The dataset is available at https://huggingface.co/datasets/CharlesZhang-USTC/Hi-Singers
• Abstract（参考訳）: 音声駆動型デジタルヒューマンジェネレーションのための最先端のモデルは、トーキングヘッド合成のフォトリアリスティックな結果を得た。 しかし、これらのモデルを歌声-頭合成に拡張することは、重要なドメインギャップのために困難であり、歌唱にはより誇張された表現、鮮やかな顎の開口、正確なリズム同期が必要である。 現在のモデルは、主に音声データセットに基づいて訓練されており、しばしば「リズムドリフト」と制約されたダイナミクスと戦っている。 これを解決するために,歌声ヘッド合成に特化して最適化された,最初の大規模で高品質な動画データセットであるHi-Singersを紹介した。 ハイシンガーは厳格な自動および手動フィルタリングパイプラインを実行し、厳密なセマンティック・アテンデンス、高解像度レンダリング、安定した動きを保証し、29,608本のビデオセグメントは約170時間である。 さらに、言語と音楽のスタイル間でバランスの取れた専用の評価ベンチマークを構築します。 3D係数や拡散に基づくモデルを含む多種多様なアーキテクチャにわたる大規模な実験は、ハイシンガーがすべての次元にわたって一貫して、性能を著しく向上することを示した。 具体的には、モデルが優れた視覚リアリズム、拡張されたリップ同期一貫性、より正確なリズミカルダイナミクスを実現し、ドメインギャップを効果的にブリッジし、歌唱合成タスクの新たなパフォーマンス標準を設定することができる。 データセットはhttps://huggingface.co/datasets/CharlesZhang-USTC/Hi-Singersで公開されている。

関連論文リスト

• Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling [59.97930201616015]
  本研究では,共有バックボーン内で高レベルなクロスモーダルモデリングを行う自己回帰拡散フレームワークであるTalker-T2AVを提案する。 共有自己回帰言語モデルは、統一されたパッチレベルのトークン空間において、オーディオとビデオに対して共同で原因となる。 ポートレートベンチマークの実験では、Talker-T2AVはリップシンク精度、ビデオ品質、オーディオ品質において、デュアルブランチベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-04-26T07:48:47Z)
• TalkVid: A Large-Scale Diversified Dataset for Audio-Driven Talking Head Synthesis [74.31705485094096]
  7729のユニークなスピーカーから1244時間のビデオを含む、大規模で高品質で多様なデータセットであるTalkVidを紹介した。 TalkVidは、動作の安定性、美的品質、顔のディテールを厳格にフィルタする、原則付き多段階自動パイプラインを通じてキュレートされる。 TalkVid-Benchは、500クリップの階層化された評価セットで、重要な人口統計学と言語学の軸間で慎重にバランスを取ります。
  論文  参考訳（メタデータ） (2025-08-19T08:31:15Z)
• SmoothSinger: A Conditional Diffusion Model for Singing Voice Synthesis with Multi-Resolution Architecture [3.7937714754535503]
  SmoothSingerは高品質で自然な歌声を合成するための条件拡散モデルである。 低品質の合成オーディオを統一されたフレームワークで直接洗練し、2段階のパイプラインに関連する劣化を緩和する。 大規模な中国語歌唱コーパスであるOpencpopデータセットの実験は、SmoothSingerが最先端の結果を達成することを示した。
  論文  参考訳（メタデータ） (2025-06-26T17:07:45Z)
• Audio-Plane: Audio Factorization Plane Gaussian Splatting for Real-Time Talking Head Synthesis [56.749927786910554]
  本稿では,ガウススティングと構造化オーディオファクトリゼーションプレーン(Audio-Plane)を統合し,高品質,音声同期,リアルタイム音声ヘッド生成を実現する新しいフレームワークを提案する。 提案手法は,最先端の視覚的品質,正確なオーディオ-リップ同期,リアルタイム性能を実現し,従来の2次元および3次元のパラダイムよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-28T16:50:27Z)
• Lipschitz-Driven Noise Robustness in VQ-AE for High-Frequency Texture Repair in ID-Specific Talking Heads [19.408923392360602]
  アイデンティティ固有のトーキングヘッドジェネレーションは、映画製作やバーチャルリアリティーにおける応用への期待が高まっている。 理論的な洞察によって導かれる、シンプルで効率的な後処理フレームワークを採用しています。 実験により, このパイプラインは, 既存のアイデンティティ固有THG法を超越して, 分布外リップ同期の堅牢性を実現することを示した。
  論文  参考訳（メタデータ） (2024-10-01T18:32:02Z)
• A Comprehensive Multi-scale Approach for Speech and Dynamics Synchrony in Talking Head Generation [16.033455552126348]
  マルチスケール音声-視覚同期損失とマルチスケール自動回帰GANを提案する。 マルチモーダル入力ピラミッド上でシンセサイザーモデルのスタックをトレーニングし、これらのモデルをマルチスケールジェネレータネットワークのガイダンスとして利用する。 実験により、頭部運動の動的品質の最先端よりも顕著な改善が示された。
  論文  参考訳（メタデータ） (2023-07-04T08:29:59Z)
• DiffTalk: Crafting Diffusion Models for Generalized Audio-Driven Portraits Animation [78.08004432704826]
  我々は、音声による時間的コヒーレントな認知過程(DiffTalk)としてのトーキングヘッド生成をモデル化する。 本稿では,話し顔の制御機構について検討し,人格認識型一般化合成の条件として,参照顔画像とランドマークを取り入れた。 我々のDiffTalkは、無視できる余分な計算コストで高分解能な合成に適しています。
  論文  参考訳（メタデータ） (2023-01-10T05:11:25Z)
• DiffSinger: Diffusion Acoustic Model for Singing Voice Synthesis [53.19363127760314]
  DiffSingerは、音楽スコアで調整されたメログラムにノイズを反復的に変換するパラメータ化されたマルコフチェーンです。 中国の歌唱データセットで行った評価は、DiffSingerが最先端のSVSワークを顕著な差で上回っていることを示している。
  論文  参考訳（メタデータ） (2021-05-06T05:21:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。