論文の概要: INFP: Audio-Driven Interactive Head Generation in Dyadic Conversations

• arxiv url: http://arxiv.org/abs/2412.04037v1
• Date: Thu, 05 Dec 2024 10:20:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:42:22.244552
• Title: INFP: Audio-Driven Interactive Head Generation in Dyadic Conversations
• Title（参考訳）: INFP: 対話における音声駆動型対話型ヘッドジェネレーション
• Authors: Yongming Zhu, Longhao Zhang, Zhengkun Rong, Tianshu Hu, Shuang Liang, Zhipeng Ge,
• Abstract要約: 本稿では,Dyadic インタラクションのための新しい音声駆動型ヘッド生成フレームワーク INFP を提案する。 INFPは、モーションベースヘッドイミテーションステージとオーディオガイドモーションジェネレーションステージで構成される。 このような研究を円滑に進めるために,インターネットから収集したリッチな対話の大規模データセットであるDyConvを紹介した。
• 参考スコア（独自算出の注目度）: 11.101103116878438
• License:
• Abstract: Imagine having a conversation with a socially intelligent agent. It can attentively listen to your words and offer visual and linguistic feedback promptly. This seamless interaction allows for multiple rounds of conversation to flow smoothly and naturally. In pursuit of actualizing it, we propose INFP, a novel audio-driven head generation framework for dyadic interaction. Unlike previous head generation works that only focus on single-sided communication, or require manual role assignment and explicit role switching, our model drives the agent portrait dynamically alternates between speaking and listening state, guided by the input dyadic audio. Specifically, INFP comprises a Motion-Based Head Imitation stage and an Audio-Guided Motion Generation stage. The first stage learns to project facial communicative behaviors from real-life conversation videos into a low-dimensional motion latent space, and use the motion latent codes to animate a static image. The second stage learns the mapping from the input dyadic audio to motion latent codes through denoising, leading to the audio-driven head generation in interactive scenarios. To facilitate this line of research, we introduce DyConv, a large scale dataset of rich dyadic conversations collected from the Internet. Extensive experiments and visualizations demonstrate superior performance and effectiveness of our method. Project Page: https://grisoon.github.io/INFP/.
• Abstract（参考訳）: 社会的に知的なエージェントとの会話を想像してみてください。 言葉を注意深く聞き、視覚的および言語的なフィードバックを素早く提供できます。 このシームレスな相互作用により、複数ラウンドの会話がスムーズに自然に流れることができる。 そこで本研究では,音声による対話のための新しいヘッドジェネレーションフレームワークであるINFPを提案する。 単一側通信のみに焦点を当てたり、手動による役割割り当てや明示的な役割切替を必要とする従来のヘッドジェネレーションとは異なり、我々のモデルは、入力されたダイアドオーディオによって誘導される音声と聴取状態の動的交互にエージェントポートレートを駆動する。 特にINFPは、モーションベースヘッドイミテーションステージとオーディオガイドモーションジェネレーションステージとを備える。 第1段階では、実生活の会話ビデオから顔のコミュニケーション行動を低次元の潜伏空間に投影し、静止画像のアニメーション化に動き潜伏符号を使用する。 第2段階は、入力されたダイアドオーディオから遅延符号へのデノイングを通じてマッピングを学習し、対話的なシナリオにおける音声駆動ヘッド生成につながる。 このような研究を円滑に進めるために,インターネットから収集したリッチな対話の大規模データセットであるDyConvを紹介した。 大規模な実験と可視化により,本手法の優れた性能と有効性を示す。 プロジェクトページ: https://grisoon.github.io/INFP/。

関連論文リスト

• AV-Flow: Transforming Text to Audio-Visual Human-like Interactions [101.31009576033776]
  AV-Flowは、テキスト入力のみを与えられた写真リアリスティックな4D音声アバターを識別するオーディオ視覚生成モデルである。 人間の音声合成, 唇の動きの同期, 表情の鮮やかさ, 頭ポーズを実演した。
  論文  参考訳（メタデータ） (2025-02-18T18:56:18Z)
• Dyadic Interaction Modeling for Social Behavior Generation [6.626277726145613]
  ダイアディックインタラクションにおける3次元顔の動きを効果的に生成するための枠組みを提案する。 私たちのフレームワークの中心は、事前トレーニングアプローチであるDydic Interaction Modeling(DIM)です。 実験は、リスナー動作の生成において、我々のフレームワークが優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-14T03:21:33Z)
• Neural Text to Articulate Talk: Deep Text to Audiovisual Speech Synthesis achieving both Auditory and Photo-realism [26.180371869137257]
  会話顔生成における最先端技術は、主にリップシンキングに焦点を当て、音声クリップに条件付けされている。 NEUral Text to ARticulate Talk (NEUTART) は、音声視覚機能空間を用いた音声合成システムである。 モデルは、人間のような調音と、よく同期されたオーディオヴィジュアルストリームを備えた、フォトリアリスティックなトーキングフェイスビデオを生成する。
  論文  参考訳（メタデータ） (2023-12-11T18:41:55Z)
• Interactive Conversational Head Generation [68.76774230274076]
  対面会話における1つのインターロケータの振る舞いを合成するための新しい対話ヘッド生成ベンチマークを提案する。 長時間・複数回会話に参加可能なインターロカクタを自動的に合成する機能は不可欠であり、様々なアプリケーションにメリットを提供する。
  論文  参考訳（メタデータ） (2023-07-05T08:06:26Z)
• Visual-Aware Text-to-Speech [101.89332968344102]
  テキスト入力と対面コミュニケーションにおけるリスナーの視覚的フィードバックの両方で条件付き音声を合成する新しい視覚認識型音声合成(VA-TTS)タスクを提案する。 音声合成のための音素言語情報とリスナー視覚信号を融合するベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:11:39Z)
• Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
  本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。 我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。 本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
  論文  参考訳（メタデータ） (2022-04-18T17:58:04Z)
• DialogueNeRF: Towards Realistic Avatar Face-to-Face Conversation Video Generation [54.84137342837465]
  対面会話は毎日の会話の大部分を占める。 既存の手法のほとんどは、一人称音声音声生成に重点を置いている。 ニューラルレイディアンスフィールド(NeRF)に基づく新しい統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-15T14:16:49Z)
• Responsive Listening Head Generation: A Benchmark Dataset and Baseline [58.168958284290156]
  本研究では、応答型リスニングヘッド生成タスクを、複数の入力に応答する動きと表現を持つ非言語ヘッドの合成として定義する。 音声によるジェスチャーや音声のヘッド生成とは違って,いくつかの研究分野の恩恵を期待して,このタスクにより多くのモーダルを導入する。
  論文  参考訳（メタデータ） (2021-12-27T07:18:50Z)
• Write-a-speaker: Text-based Emotional and Rhythmic Talking-head Generation [28.157431757281692]
  本研究では,高忠実度表情と頭部動作を合成するテキストベーストーキングヘッドビデオ生成フレームワークを提案する。 本フレームワークは,話者に依存しないステージと話者固有のステージから構成される。 本アルゴリズムは,様々な表情や頭部の動きを含む高品質なフォトリアリスティックなトーキングヘッドビデオを実現する。
  論文  参考訳（メタデータ） (2021-04-16T09:44:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。