論文の概要: LumiSculpt: A Consistency Lighting Control Network for Video Generation

• arxiv url: http://arxiv.org/abs/2410.22979v1
• Date: Wed, 30 Oct 2024 12:44:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:27:31.475888
• Title: LumiSculpt: A Consistency Lighting Control Network for Video Generation
• Title（参考訳）: LumiSculpt:ビデオ生成のための一貫性照明制御ネットワーク
• Authors: Yuxin Zhang, Dandan Zheng, Biao Gong, Jingdong Chen, Ming Yang, Weiming Dong, Changsheng Xu,
• Abstract要約: ライティングは、ビデオ生成の自然性を保証する上で重要な役割を果たす。 独立的でコヒーレントな照明特性を分離し、モデル化することは依然として困難である。 LumiSculptは、T2V生成モデルにおける正確で一貫した照明制御を可能にする。
• 参考スコア（独自算出の注目度）: 67.48791242688493
• License:
• Abstract: Lighting plays a pivotal role in ensuring the naturalness of video generation, significantly influencing the aesthetic quality of the generated content. However, due to the deep coupling between lighting and the temporal features of videos, it remains challenging to disentangle and model independent and coherent lighting attributes, limiting the ability to control lighting in video generation. In this paper, inspired by the established controllable T2I models, we propose LumiSculpt, which, for the first time, enables precise and consistent lighting control in T2V generation models.LumiSculpt equips the video generation with strong interactive capabilities, allowing the input of custom lighting reference image sequences. Furthermore, the core learnable plug-and-play module of LumiSculpt facilitates remarkable control over lighting intensity, position, and trajectory in latent video diffusion models based on the advanced DiT backbone.Additionally, to effectively train LumiSculpt and address the issue of insufficient lighting data, we construct LumiHuman, a new lightweight and flexible dataset for portrait lighting of images and videos. Experimental results demonstrate that LumiSculpt achieves precise and high-quality lighting control in video generation.
• Abstract（参考訳）: ライティングはビデオ生成の自然性を保証する上で重要な役割を担い、生成したコンテンツの美的品質に大きな影響を及ぼす。 しかし, 映像の時間的特徴と光の深い結合により, 独立性とコヒーレントな照明特性を分離・モデル化することは困難であり, 映像生成における照明の制御能力は制限されている。 本稿では,既存の制御可能なT2IモデルにインスパイアされたLumiSculptを提案する。このLumiSculptは,T2V生成モデルにおいて,高精度かつ一貫した照明制御を実現する。 さらに、LumiSculptのコア学習可能なプラグアンドプレイモジュールは、高度なDiTバックボーンに基づく遅延ビデオ拡散モデルにおける光強度、位置、軌跡の顕著な制御を促進するとともに、LumiSculptを効果的に訓練し、照明データの不十分な問題に対処するために、画像やビデオのポートレートライティングのための新しい軽量で柔軟なデータセットであるLumiHumanを構築した。 実験により,LumiSculptは映像生成において高精度かつ高品質な照明制御を実現することが示された。

関連論文リスト

• Light-A-Video: Training-free Video Relighting via Progressive Light Fusion [52.420894727186216]
  Light-A-Videoは、時間的にスムーズなビデオリライティングを実現するためのトレーニング不要のアプローチである。 Light-A-Videoは、画像のリライティングモデルに適応して、照明の一貫性を高める2つの重要な技術を導入している。
  論文  参考訳（メタデータ） (2025-02-12T17:24:19Z)
• VidCRAFT3: Camera, Object, and Lighting Control for Image-to-Video Generation [62.64811405314847]
  VidCRAFT3は、画像から映像までを正確に生成するための新しいフレームワークである。 カメラの動き、物体の動き、照明方向を同時に制御できる。 ベンチマークデータセットの実験では、高品質のビデオコンテンツの生成におけるVidCRAFT3の有効性が示されている。
  論文  参考訳（メタデータ） (2025-02-11T13:11:59Z)
• Lumina-Video: Efficient and Flexible Video Generation with Multi-scale Next-DiT [98.56372305225271]
  Lumina-Nextは、Next-DiTによる画像生成において、例外的なパフォーマンスを実現している。 Lumina-VideoにはマルチスケールのNext-DiTアーキテクチャが組み込まれており、複数のパッチを共同で学習している。 本稿では,Next-DiTに基づく音声合成モデルであるLumina-V2Aを提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:58:11Z)
• RelightVid: Temporal-Consistent Diffusion Model for Video Relighting [95.10341081549129]
  RelightVidはビデオのリライトのためのフレキシブルなフレームワークだ。 バックグラウンドビデオ、テキストプロンプト、環境マップをリライト条件として受け入れることができる。 内在的な分解を伴わずに、時間的整合性の高い任意のビデオリライティングを実現する。
  論文  参考訳（メタデータ） (2025-01-27T18:59:57Z)
• LumiNet: Latent Intrinsics Meets Diffusion Models for Indoor Scene Relighting [13.433775723052753]
  ソースイメージとターゲットのライティングイメージが与えられた後、LumiNetはターゲットのライティングをキャプチャするソースシーンの依存バージョンを合成する。 LumiNetは2つの異なる画像から遅延表現を処理します。
  論文  参考訳（メタデータ） (2024-11-29T18:59:11Z)
• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• Personalized Video Relighting With an At-Home Light Stage [0.0]
  我々は,高品質で時間的に一貫した映像をリアルタイムに生成するパーソナライズされたビデオリライティングアルゴリズムを開発した。 モニタでYouTubeビデオを見ているユーザの録画をキャプチャすることで、任意の条件下で高品質なリライティングを行うことのできるパーソナライズされたアルゴリズムをトレーニングできることを示す。
  論文  参考訳（メタデータ） (2023-11-15T10:33:20Z)
• Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
  本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。 エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。 また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2021-04-01T14:13:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。