論文の概要: VFXMaster: Unlocking Dynamic Visual Effect Generation via In-Context Learning

• arxiv url: http://arxiv.org/abs/2510.25772v1
• Date: Wed, 29 Oct 2025 17:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:45.981897
• Title: VFXMaster: Unlocking Dynamic Visual Effect Generation via In-Context Learning
• Title（参考訳）: VFXMaster: インコンテキスト学習による動的ビジュアルエフェクト生成のアンロック
• Authors: Baolu Li, Yiming Zhang, Qinghe Wang, Liqian Ma, Xiaoyu Shi, Xintao Wang, Pengfei Wan, Zhenfei Yin, Yunzhi Zhuge, Huchuan Lu, Xu Jia,
• Abstract要約: 我々は、VFXビデオ生成のための最初の統合参照ベースのフレームワークであるVFXMasterを紹介する。 インコンテキスト学習タスクとしてエフェクト生成をリキャストし、参照ビデオからターゲットコンテンツへの多様なダイナミックエフェクトを再現する。 さらに,単一ユーザが提供するビデオから,強靭な見えざる効果に対する一般化能力を急速に向上させる,効率的なワンショット効果適応機構を提案する。
• 参考スコア（独自算出の注目度）: 67.44716618860544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual effects (VFX) are crucial to the expressive power of digital media, yet their creation remains a major challenge for generative AI. Prevailing methods often rely on the one-LoRA-per-effect paradigm, which is resource-intensive and fundamentally incapable of generalizing to unseen effects, thus limiting scalability and creation. To address this challenge, we introduce VFXMaster, the first unified, reference-based framework for VFX video generation. It recasts effect generation as an in-context learning task, enabling it to reproduce diverse dynamic effects from a reference video onto target content. In addition, it demonstrates remarkable generalization to unseen effect categories. Specifically, we design an in-context conditioning strategy that prompts the model with a reference example. An in-context attention mask is designed to precisely decouple and inject the essential effect attributes, allowing a single unified model to master the effect imitation without information leakage. In addition, we propose an efficient one-shot effect adaptation mechanism to boost generalization capability on tough unseen effects from a single user-provided video rapidly. Extensive experiments demonstrate that our method effectively imitates various categories of effect information and exhibits outstanding generalization to out-of-domain effects. To foster future research, we will release our code, models, and a comprehensive dataset to the community.
• Abstract（参考訳）: ビジュアルエフェクト(VFX)はデジタルメディアの表現力にとって不可欠だが、生成AIにとって依然として大きな課題である。 一般的な手法は、リソース集約的で、目に見えないエフェクトに一般化することができないため、スケーラビリティと作成が制限される、ワン・ローラ・パー・エフェクト・パラダイムに依存していることが多い。 この課題に対処するために、VFXビデオ生成のための最初の統合参照ベースのフレームワークであるVFXMasterを紹介します。 インコンテキスト学習タスクとしてエフェクト生成をリキャストし、参照ビデオからターゲットコンテンツへの多様なダイナミックエフェクトを再現する。 さらに、目に見えない効果圏への顕著な一般化を示す。 具体的には、参照例でモデルを促すコンテキスト内条件付け戦略を設計する。 コンテキスト内注意マスクは、重要な効果属性を正確に分離し、注入するように設計されており、単一の統一モデルで情報漏洩なしに効果模倣をマスターすることができる。 さらに,単一ユーザが提供するビデオから,強靭な見えざる効果に対する一般化能力を急速に向上させる,効率的なワンショット効果適応機構を提案する。 大規模な実験により,本手法は様々な効果情報のカテゴリを効果的に模倣し,領域外効果への卓越した一般化を示す。 今後の研究を促進するため、私たちはコード、モデル、包括的なデータセットをコミュニティに公開します。

関連論文リスト

• Omni-Effects: Unified and Spatially-Controllable Visual Effects Generation [11.41864836442447]
  オムニエフェクト(Omni-Effects)は、即時誘導効果と空間制御可能な複合効果を生成できるフレームワークである。 LoRAベースのMixture of Experts (LoRA-MoE)は、専門家グループであるLoRAを採用し、統一モデルに多様な効果を統合する。 Space-Aware Prompt (SAP) は、空間マスク情報をテキストトークンに組み込んで、正確な空間制御を可能にする。
  論文  参考訳（メタデータ） (2025-08-11T13:41:24Z)
• VFX Creator: Animated Visual Effect Generation with Controllable Diffusion Transformer [56.81599836980222]
  本稿では,ユーザフレンドリーなテキスト記述と静的参照画像から動的エフェクトを生成する,画像アニメーションとしてのVFX生成のための新しいパラダイムを提案する。 i) VFXは15の多様なエフェクトカテゴリにまたがる最初の高品質なVFXビデオデータセットで、テキストによる記述と時間制御のためのスタートエンドタイムスタンプと、(ii) Video Diffusion Transformerをベースとした制御可能なVFX生成フレームワークであるVFX Creatorである。
  論文  参考訳（メタデータ） (2025-02-09T18:12:25Z)
• Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [79.4785166021062]
  本稿では,対話型ビデオジェネレータPuppet-Masterを紹介した。 Puppet-Masterは、他のモーションコンディショニングビデオジェネレータとは異なり、パートレベルのモーションを生成することを学習している。 Puppet-Masterはドメイン外の実際のイメージを一般化し、実世界のベンチマークで既存のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-08-08T17:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。