論文の概要: HuMo: Human-Centric Video Generation via Collaborative Multi-Modal Conditioning

• arxiv url: http://arxiv.org/abs/2509.08519v1
• Date: Wed, 10 Sep 2025 11:54:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.411332
• Title: HuMo: Human-Centric Video Generation via Collaborative Multi-Modal Conditioning
• Title（参考訳）: HuMo: 協調型マルチモードコンディショニングによる人間中心のビデオ生成
• Authors: Liyang Chen, Tianxiang Ma, Jiawei Liu, Bingchuan Li, Zhuowei Chen, Lijie Liu, Xu He, Gen Li, Qian He, Zhiyong Wu,
• Abstract要約: 本稿では,協調型マルチモーダル制御のためのフレームワークであるHuMoを紹介する。 HuMoはサブタスクにおける専門的な最先端メソッドを超越している。
• 参考スコア（独自算出の注目度）: 33.868900473146496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human-Centric Video Generation (HCVG) methods seek to synthesize human videos from multimodal inputs, including text, image, and audio. Existing methods struggle to effectively coordinate these heterogeneous modalities due to two challenges: the scarcity of training data with paired triplet conditions and the difficulty of collaborating the sub-tasks of subject preservation and audio-visual sync with multimodal inputs. In this work, we present HuMo, a unified HCVG framework for collaborative multimodal control. For the first challenge, we construct a high-quality dataset with diverse and paired text, reference images, and audio. For the second challenge, we propose a two-stage progressive multimodal training paradigm with task-specific strategies. For the subject preservation task, to maintain the prompt following and visual generation abilities of the foundation model, we adopt the minimal-invasive image injection strategy. For the audio-visual sync task, besides the commonly adopted audio cross-attention layer, we propose a focus-by-predicting strategy that implicitly guides the model to associate audio with facial regions. For joint learning of controllabilities across multimodal inputs, building on previously acquired capabilities, we progressively incorporate the audio-visual sync task. During inference, for flexible and fine-grained multimodal control, we design a time-adaptive Classifier-Free Guidance strategy that dynamically adjusts guidance weights across denoising steps. Extensive experimental results demonstrate that HuMo surpasses specialized state-of-the-art methods in sub-tasks, establishing a unified framework for collaborative multimodal-conditioned HCVG. Project Page: https://phantom-video.github.io/HuMo.
• Abstract（参考訳）: HCVG(Human-Centric Video Generation)は、テキスト、画像、オーディオを含む多モード入力から人間のビデオを合成する手法である。 既存の手法では2つの課題がある: ペア三重項条件によるトレーニングデータの不足と、被写体保存のサブタスクとマルチモーダル入力とのオーディオ視覚同期のコラボレーションが困難である。 本稿では,協調型マルチモーダル制御のための統合HCVGフレームワークであるHuMoを紹介する。 最初の課題は、多種多様なテキスト、参照画像、オーディオを含む高品質なデータセットを構築することである。 第2の課題として,タスク固有の戦略を持つ2段階のプログレッシブ・マルチモーダル・トレーニング・パラダイムを提案する。 本研究の課題は,基礎モデルの迅速な追従と視覚生成能力を維持するため,最小侵襲画像注入方式を採用することである。 音声と視覚の同期タスクでは、一般的に採用されている音声のクロスアテンション層に加えて、暗黙的にモデルが音声と顔領域を関連付けるためのフォーカス・バイ・予測戦略を提案する。 マルチモーダル入力における制御能力を共同学習するためには,これまで獲得した機能に基づいて,音声-視覚同期タスクを段階的に取り入れる。 推論中、柔軟できめ細かなマルチモーダル制御のために、デノナイジングステップをまたいだ誘導重みを動的に調整する時間適応型分類器フリーガイダンス戦略を設計する。 大規模実験により,HuMoはサブタスクにおける特定の最先端手法を超越し,協調的マルチモーダル条件HCVGのための統一的な枠組みを確立した。 Project Page: https://phantom-video.github.io/HuMo.com

関連論文リスト

• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• TAViS: Text-bridged Audio-Visual Segmentation with Foundation Models [123.17643568298116]
  本稿では,マルチモーダル基盤モデルの知識をテキスト化するための新しいフレームワークTAViSを提案する。 これらのモデルを効果的に組み合わせることによって、SAM2とImageBind間の知識伝達の困難さと、監督のためにセグメンテーション損失のみを使用することの不十分さの2つの大きな課題が生じる。 提案手法は,シングルソース,マルチソース,セマンティックデータセットにおいて優れた性能を示し,ゼロショット設定で優れる。
  論文  参考訳（メタデータ） (2025-06-13T03:19:47Z)
• Fork-Merge Decoding: Enhancing Multimodal Understanding in Audio-Visual Large Language Models [13.887164304514101]
  本研究の目的は、音声・視覚大言語モデル(AV-LLM)におけるバランスの取れたマルチモーダル理解を強化することである。 現在のAV-LLMでは、オーディオとビデオの機能はデコーダで共同で処理されるのが一般的である。 Fork-Merge Decoding (FMD) は、追加のトレーニングやアーキテクチャの変更を必要としない、シンプルで効果的な推論時間戦略である。
  論文  参考訳（メタデータ） (2025-05-27T08:22:56Z)
• AlignDiT: Multimodal Aligned Diffusion Transformer for Synchronized Speech Generation [41.74261260212531]
  マルチモーダル・トゥ・音声タスクは、映画製作、ダビング、仮想アバターなど、幅広い応用によって注目を集めている。 既存の手法は、音声の了解性、音声とビデオの同期、音声の自然さ、および参照話者との音声類似性の制限に悩まされている。 本稿では,アライメントされたマルチモーダル入力から正確な,同期化,自然な音声を生成するマルチモーダルアラインド拡散変換器AlignDiTを提案する。
  論文  参考訳（メタデータ） (2025-04-29T10:56:24Z)
• VIMI: Grounding Video Generation through Multi-modal Instruction [89.90065445082442]
  既存のテキスト間拡散モデルは、事前訓練のためにテキストのみのエンコーダにのみ依存する。 検索手法を用いて大規模マルチモーダル・プロンプト・データセットを構築し,テキスト・プロンプトとテキスト・プロンプトのペア化を行う。 マルチモーダル命令を組み込んだ3つのビデオ生成タスクにおいて,第1ステージからモデルを微調整する。
  論文  参考訳（メタデータ） (2024-07-08T18:12:49Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• FaceChain-ImagineID: Freely Crafting High-Fidelity Diverse Talking Faces from Disentangled Audio [45.71036380866305]
  我々は、音声を聴く人々の過程を抽象化し、意味のある手がかりを抽出し、単一の音声から動的に音声に一貫性のある発話顔を生成する。 ひとつはアイデンティティ、コンテンツ、感情をエンタングルドオーディオから効果的に切り離すことであり、もう一つは動画内多様性とビデオ間の一貫性を維持することである。 本稿では,3つのトレーニング可能なアダプタと凍結遅延拡散モデルとのフレキシブルな統合を含む,制御可能なコヒーレントフレーム生成を提案する。
  論文  参考訳（メタデータ） (2024-03-04T09:59:48Z)
• Unified-IO 2: Scaling Autoregressive Multimodal Models with Vision, Language, Audio, and Action [46.76487873983082]
  Unified-IO 2は、画像、テキスト、オーディオ、アクションの理解と生成が可能な最初の自己回帰型マルチモーダルモデルである。 我々は、多様な情報源から、大規模なマルチモーダル事前学習コーパスをスクラッチからトレーニングする。 単一の統一モデルにより、Unified-IO 2はGRITベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-28T17:57:06Z)
• mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image and Video [89.19867891570945]
  mPLUG-2は、マルチモーダル事前訓練のためのモジュール化された設計を備えた新しい統一パラダイムである。 モダリティ協力のための共通普遍加群を共有し、モダリティの絡み合いを扱うために異なるモダリティ加群を切り離す。 テキスト、画像、ビデオを含むすべてのモダリティの異なる理解タスクと生成タスクのために、異なるモジュールを選択することは柔軟です。
  論文  参考訳（メタデータ） (2023-02-01T12:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。