論文の概要: Vorch-Human: Unified Multi-Task Human-Centric Generation via Long-Horizon Continuation

• arxiv url: http://arxiv.org/abs/2609.26117v1
• Date: Thu, 06 Aug 2026 08:22:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.881797
• Title: Vorch-Human: Unified Multi-Task Human-Centric Generation via Long-Horizon Continuation
• Title（参考訳）: Vorch-Human: 長距離連続による統合マルチタスク人間中心生成
• Abstract要約: Vorch-Humanは、デュアルストリームオーディオビデオ拡散トランスフォーマー上に構築された、統一された人間中心の生成フレームワークである。 レベル1は、音声認識、声の分離、顔の検出と追跡、アクティブ言語と同期モデル、オーディオ/視覚話者クラスタリング、マルチモーダルキャプション補正によって各クリップを解析する。 レベル2は、共通のソースビデオから同じ人物をリンクし、顔、体、品質、ポーズ、視覚-水平検証の後、アイデンティティと服装に一貫性のある参照イメージをマイニングする。
• 参考スコア（独自算出の注目度）: 29.719000926624833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human-centric audio-visual generation spans several closely related tasks: animating a person from driving speech, jointly generating speech and video from a voice reference, and synthesizing a scene from paired appearance and voice references. Existing systems commonly solve these tasks with separate models, even though they share the same target modalities and differ mainly in which observations are provided as conditions. We present Vorch-Human, a unified human-centric generation framework built on a dual-stream audio-video diffusion transformer. Vorch-Human augments the conventional noisy audio/noisy video interface with clean condition-audio and condition-video token groups. Per-token task embeddings, temporal position types, condition masks, and a shared multimodal prompt encoder allow driving speech, timbre examples, first frames, and subject images to be expressed within one model. To supply the supervision required by this interface, we develop a two-level data pipeline. Level 1 analyzes each clip with speech recognition, vocal separation, face detection and tracking, active-speaker and synchronization models, audio/visual speaker clustering, and multimodal caption correction; it produces subject-indexed speech, appearance, and timbre annotations. Level 2 links the same person across clips from a common source video and mines identity- and outfit-consistent reference images after face, body, quality, pose, and vision-language verification. Finally, we adapt Vorch-Human to long-form audio-driven generation by training with clean latent prefixes and using the same frozen-prefix recurrence at inference. Each segment contributes only its newly generated suffix, reducing boundary discontinuity and long-horizon identity drift. Experiments on short and five-minute generation demonstrate strong identity preservation, audio-visual synchronization, and temporal stability.
• Abstract（参考訳）: 人間中心の音声視覚生成は、音声の駆動から人をアニメーション化し、音声参照から音声と映像を共同生成し、対の外観と音声参照からシーンを合成する、いくつかの密接に関連するタスクにまたがる。 既存のシステムは、異なるモデルでこれらのタスクを解くのが一般的である。 Vorch-Humanは、デュアルストリームオーディオ・ビデオ拡散変換器上に構築された統合人間中心型生成フレームワークである。 Vorch-Human氏は、従来のノイズの多いオーディオ/ノイズの多いビデオインターフェースを、クリーンな条件オーディオとコンディションビデオトークングループで強化している。 個別タスク埋め込み、時間的位置タイプ、コンディションマスク、共有マルチモーダルプロンプトエンコーダは、音声、音色サンプル、第1フレーム、被写体画像を1つのモデル内で表現することができる。 このインタフェースで必要とされる監視を提供するため、我々は2段階のデータパイプラインを開発する。 レベル1は、音声認識、声の分離、顔の検出と追跡、アクティブスピーカーと同期モデル、オーディオ/視覚話者クラスタリング、マルチモーダルキャプション補正によって各クリップを分析し、主観的な音声、外観、音色アノテーションを生成する。 レベル2は、共通のソースビデオから同じ人物をリンクし、顔、体、品質、ポーズ、視覚言語による検証の後、アイデンティティと服装に一貫性のある参照イメージをマイニングする。 最後に,Vorch-Humanを,クリーンな潜伏接頭辞を用いてトレーニングし,推論時に同じ凍結前修正再発を用いることにより,長大な音声駆動生成に適用する。 各セグメントは新たに生成された接尾辞のみに寄与し、境界の不連続性と長い水平アイデンティティドリフトを減少させる。 短時間および5分間の生成実験は、強いアイデンティティ保存、音声と視覚の同期、時間的安定性を示す。

関連論文リスト

• HUG-VIS: A Multimodal Benchmark for Human-centered Understanding and Generation in Visual Intelligence [82.1284258781622]
  視覚知能は、視覚世界を理解し、解釈し、合成しようとする。 HUG-VISは、ビジュアルインテリジェンスにおける人間中心の理解と生成のための統一されたベンチマークである。
  論文  参考訳（メタデータ） (2026-08-27T01:43:47Z)
• Vorch-Omni: Multi-Task Orchestration of Sight and Sound [51.39284238118125]
  Vorch-Omniは任意の条件から任意言語への定式化に基づく音声・視覚合成のための統一されたフレームワークである。 ビデオや音声の信号を入力や生成ターゲットの条件付けとして柔軟に扱う。 テキスト・トゥ・ビデオ、テキスト・トゥ・オーディオ・ビデオ、イメージ・アンド・レファレンス・コンディショナード・ジェネレーション、時間拡張、音声駆動生成、ビデオ変換、オーディオ・ビジュアル編集を含む10以上のタスクをサポートする。
  論文  参考訳（メタデータ） (2026-08-06T09:38:30Z)
• Make Your Actor Talk: Generalizable and High-Fidelity Lip Sync with Motion and Appearance Disentanglement [38.17828583069966]
  本研究の目的は,個人的アイデンティティと視覚的詳細を保ちながら,音声による唇の動きの編集を行うことである。 動きに依存しない視覚的詳細をキャプチャするために、別個のエンコーダを使用して唇、非唇の外観、動きを符号化し、学習した融合モジュールと統合する。
  論文  参考訳（メタデータ） (2024-06-12T11:22:03Z)
• FaceChain-ImagineID: Freely Crafting High-Fidelity Diverse Talking Faces from Disentangled Audio [45.71036380866305]
  我々は、音声を聴く人々の過程を抽象化し、意味のある手がかりを抽出し、単一の音声から動的に音声に一貫性のある発話顔を生成する。 ひとつはアイデンティティ、コンテンツ、感情をエンタングルドオーディオから効果的に切り離すことであり、もう一つは動画内多様性とビデオ間の一貫性を維持することである。 本稿では,3つのトレーニング可能なアダプタと凍結遅延拡散モデルとのフレキシブルな統合を含む,制御可能なコヒーレントフレーム生成を提案する。
  論文  参考訳（メタデータ） (2024-03-04T09:59:48Z)
• Identity-Preserving Talking Face Generation with Landmark and Appearance Priors [106.79923577700345]
  既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。 本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。 提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-05-15T01:31:32Z)
• Learning Hierarchical Cross-Modal Association for Co-Speech Gesture Generation [107.10239561664496]
  協調音声ジェスチャ生成のためのHA2G(Hierarchical Audio-to-Gesture)という新しいフレームワークを提案する。 提案手法は,現実的な共同音声ジェスチャーを描画し,従来手法よりも明確なマージンで性能を向上する。
  論文  参考訳（メタデータ） (2022-03-24T16:33:29Z)
• One-shot Talking Face Generation from Single-speaker Audio-Visual Correlation Learning [20.51814865676907]
  特定の話者から一貫した音声スタイルを学ぶ方がずっと簡単で、それが本物の口の動きにつながる。 本研究では,特定の話者からの音声と視覚の動きの一致した相関関係を探索し,一対一の会話顔生成フレームワークを提案する。 学習した一貫した話し方のおかげで,本手法は真正な口の形状と鮮明な動きを生成する。
  論文  参考訳（メタデータ） (2021-12-06T02:53:51Z)
• One Shot Audio to Animated Video Generation [15.148595295859659]
  本稿では,音声クリップと一人の未確認画像を入力として,任意の長さのアニメーション映像を生成する手法を提案する。 OneShotAu2AVは、(a)オーディオと同期している唇の動き、(b)点滅やまぶたの動きなどの自然な表情、(c)頭の動きなどのアニメーションビデオを生成することができます。
  論文  参考訳（メタデータ） (2021-02-19T04:29:17Z)
• VisualVoice: Audio-Visual Speech Separation with Cross-Modal Consistency [111.55430893354769]
  ビデオでは、同時の背景音や他の人間のスピーカーにもかかわらず、顔に関連するスピーチを抽出することを目的としています。 本手法は,非ラベル映像から音声-視覚音声分離とクロスモーダル話者埋め込みを共同で学習する。 音声-視覚音声分離と強化のための5つのベンチマークデータセットで最新の結果が得られます。
  論文  参考訳（メタデータ） (2021-01-08T18:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。