論文の概要: Advancing Talking Head Generation: A Comprehensive Survey of Multi-Modal Methodologies, Datasets, Evaluation Metrics, and Loss Functions
- arxiv url: http://arxiv.org/abs/2507.02900v1
- Date: Mon, 23 Jun 2025 06:49:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-13 12:05:57.494577
- Title: Advancing Talking Head Generation: A Comprehensive Survey of Multi-Modal Methodologies, Datasets, Evaluation Metrics, and Loss Functions
- Title（参考訳）: トーキングヘッド生成の促進:マルチモーダル方法論,データセット,評価指標,損失関数に関する総合的な調査
- Authors: Vineet Kumar Rakesh, Soumya Mazumdar, Research Pratim Maity, Sarbajit Pal, Amitabha Das, Tapas Samanta,
- Abstract要約: トーキングヘッドジェネレーション (THG) はコンピュータビジョンにおけるトランスフォーメーション技術として登場した。
本稿では,音声音声生成のための方法論とフレームワークについて概観する。
この研究は、事前訓練されたモデルへの依存、極端なポーズハンドリング、多言語合成、時間的一貫性といった課題を特定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Talking Head Generation (THG) has emerged as a transformative technology in computer vision, enabling the synthesis of realistic human faces synchronized with image, audio, text, or video inputs. This paper provides a comprehensive review of methodologies and frameworks for talking head generation, categorizing approaches into 2D--based, 3D--based, Neural Radiance Fields (NeRF)--based, diffusion--based, parameter-driven techniques and many other techniques. It evaluates algorithms, datasets, and evaluation metrics while highlighting advancements in perceptual realism and technical efficiency critical for applications such as digital avatars, video dubbing, ultra-low bitrate video conferencing, and online education. The study identifies challenges such as reliance on pre--trained models, extreme pose handling, multilingual synthesis, and temporal consistency. Future directions include modular architectures, multilingual datasets, hybrid models blending pre--trained and task-specific layers, and innovative loss functions. By synthesizing existing research and exploring emerging trends, this paper aims to provide actionable insights for researchers and practitioners in the field of talking head generation. For the complete survey, code, and curated resource list, visit our GitHub repository: https://github.com/VineetKumarRakesh/thg.
- Abstract（参考訳）: トーキングヘッドジェネレーション(THG)はコンピュータビジョンにおける変換技術として登場し、画像、音声、テキスト、ビデオ入力と同期した現実的な人間の顔の合成を可能にする。
本稿では,2次元ベース,3次元ベース,NeRF(Neural Radiance Fields)ベース,拡散ベース,パラメータ駆動など多くの手法にアプローチを分類する。
アルゴリズム、データセット、評価メトリクスを評価し、デジタルアバター、ビデオダビング、超低ビットレートのビデオ会議、オンライン教育などのアプリケーションにとって重要な知覚リアリズムと技術的効率の進歩を強調しながら、評価する。
この研究は、事前訓練されたモデルへの依存、極端なポーズ処理、多言語合成、時間的一貫性といった課題を明らかにしている。将来の方向性には、モジュラーアーキテクチャ、多言語データセット、事前訓練された層とタスク固有の層をブレンドしたハイブリッドモデル、革新的な損失関数が含まれる。
本研究は,既存の研究を合成し,新たなトレンドを探求することによって,対話型ヘッドジェネレーションの分野における研究者や実践者に実用的な洞察を提供することを目的とする。
完全な調査、コード、キュレートされたリソースリストについては、GitHubリポジトリを参照してください。
関連論文リスト
- Advances in Feed-Forward 3D Reconstruction and View Synthesis: A Survey [154.50661618628433]
3D再構成とビュー合成は、拡張現実(AR)、仮想現実(VR)、デジタルツインといった没入型技術における基礎的な問題である。
深層学習によるフィードフォワードアプローチの最近の進歩は、高速で一般化可能な3次元再構成とビュー合成を可能にして、この分野に革命をもたらした。
論文 参考訳（メタデータ） (2025-07-19T06:13:25Z) - Nexus: An Omni-Perceptive And -Interactive Model for Language, Audio, And Vision [50.23246260804145]
本研究は, 聴覚, 視覚, 言語的モダリティを統合した, 産業レベルのOmni-Modal Large Language Model (LLM) パイプラインを提案する。
まず、様々なエンコーダ-LLM-デコーダアーキテクチャの柔軟な構成を可能にするモジュラーフレームワークです。
第二に、最先端のビジョン言語モデルであるQwen2.5-VLのオーディオ言語アライメントを事前訓練する軽量なトレーニング戦略である。
第三に、様々な現実世界のシナリオから高品質な音声テキストデータを生成するオーディオ合成パイプライン。
論文 参考訳（メタデータ） (2025-02-26T17:26:36Z) - Automatic Scene Generation: State-of-the-Art Techniques, Models, Datasets, Challenges, and Future Prospects [0.94371657253557]
本調査は、機械学習、ディープラーニング、組み込みシステム、自然言語処理(NLP)を活用する技術に焦点を当てる。
モデルを,変分オートエンコーダ(VAE),GAN(Generative Adrial Networks),トランスフォーマー(Transformer),拡散モデル(Diffusion Models)の4つのタイプに分類する。
また、COCO-Stuff、Visual Genome、MS-COCOといった、これらのモデルのトレーニングと評価に欠かせない最も一般的なデータセットについてもレビューする。
論文 参考訳（メタデータ） (2024-09-14T19:09:10Z) - A Comprehensive Taxonomy and Analysis of Talking Head Synthesis: Techniques for Portrait Generation, Driving Mechanisms, and Editing [8.171572460041823]
トーキングヘッド合成は、特定のコンテンツによって駆動される静止画像からポートレートビデオを生成する高度な方法である。
本調査は,3つの重要な領域 – ポートレート生成,駆動機構,編集技術 – に分類し,その技術を体系的にレビューする。
論文 参考訳（メタデータ） (2024-06-15T08:14:59Z) - A survey of synthetic data augmentation methods in computer vision [0.0]
本稿では,合成データ拡張技術について概観する。
我々は、重要なデータ生成と拡張技術、アプリケーション全般の範囲、および特定のユースケースに焦点を当てる。
コンピュータビジョンモデルをトレーニングするための一般的な合成データセットの要約を提供する。
論文 参考訳（メタデータ） (2024-03-15T07:34:08Z) - Data Augmentation in Human-Centric Vision [54.97327269866757]
本研究では,人間中心型視覚タスクにおけるデータ拡張手法の包括的分析を行う。
それは、人物のReID、人間のパーシング、人間のポーズ推定、歩行者検出など、幅広い研究領域に展開している。
我々の研究は、データ拡張手法をデータ生成とデータ摂動の2つの主なタイプに分類する。
論文 参考訳（メタデータ） (2024-03-13T16:05:18Z) - A Comprehensive Survey of 3D Dense Captioning: Localizing and Describing
Objects in 3D Scenes [80.20670062509723]
3Dシークエンスキャプションは、3Dシーンの詳細な説明を作成することを目的とした、視覚言語によるブリッジングタスクである。
2次元の視覚的キャプションと比較して、現実世界の表現が密接なため、大きな可能性と課題が提示される。
既存手法の人気と成功にもかかわらず、この分野の進歩を要約した総合的な調査は乏しい。
論文 参考訳（メタデータ） (2024-03-12T10:04:08Z) - A Comparative Study of Perceptual Quality Metrics for Audio-driven
Talking Head Videos [81.54357891748087]
4つの生成手法から生成した音声ヘッドビデオを収集する。
視覚的品質、口唇音の同期、頭部運動の自然性に関する制御された心理物理実験を行った。
実験では,モデル予測と人間のアノテーションの整合性を検証し,広く使用されている指標よりも人的意見に整合した指標を同定した。
論文 参考訳（メタデータ） (2024-03-11T04:13:38Z) - Sora as an AGI World Model? A Complete Survey on Text-to-Video Generation [30.245348014602577]
本稿では,テキストからの映像生成の進化について論じる。まずMNISTの数値をアニメーション化し,ソラで物理世界をシミュレートする。
Soraが生成するビデオの欠点に関するレビューでは、ビデオ生成の様々な実現可能な側面において、より深い研究を求める声が浮き彫りになっている。
テキスト・ビデオ・ジェネレーションの研究は、まだ初期段階であり、学際的な研究コミュニティからの貢献が必要であると結論付けている。
論文 参考訳（メタデータ） (2024-03-08T07:58:13Z) - From Pixels to Portraits: A Comprehensive Survey of Talking Head
Generation Techniques and Applications [3.8301843990331887]
近年のディープラーニングとコンピュータビジョンの進歩は、現実的な話し声を生み出すことへの関心の高まりにつながっている。
私たちはそれらを、画像駆動、オーディオ駆動、ビデオ駆動の4つの主要なアプローチに体系的に分類します。
それぞれの手法の詳細な分析を行い、それぞれの独特な貢献、強み、限界を強調します。
論文 参考訳（メタデータ） (2023-08-30T14:00:48Z) - Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳（メタデータ） (2023-07-25T17:59:18Z) - Human Image Generation: A Comprehensive Survey [44.204029557298476]
本稿では,人間の画像生成技術を3つのパラダイム,すなわちデータ駆動手法,知識誘導手法,ハイブリッド手法に分割する。
異なる手法の利点と特徴はモデルアーキテクチャの観点から要約される。
広範囲の応用可能性により、合成された人間の画像の典型的な下流使用法がカバーされている。
論文 参考訳（メタデータ） (2022-12-17T15:19:45Z) - Vision+X: A Survey on Multimodal Learning in the Light of Data [64.03266872103835]
様々なソースからのデータを組み込んだマルチモーダル機械学習が,ますます普及している研究分野となっている。
我々は、視覚、音声、テキスト、動きなど、各データフォーマットの共通点と特異点を分析する。
本稿では,表現学習と下流アプリケーションレベルの両方から,マルチモーダル学習に関する既存の文献を考察する。
論文 参考訳（メタデータ） (2022-10-05T13:14:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。