論文の概要: Video Content Swapping Using GAN

• arxiv url: http://arxiv.org/abs/2111.10916v1
• Date: Sun, 21 Nov 2021 23:01:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-24 04:18:53.178087
• Title: Video Content Swapping Using GAN
• Title（参考訳）: GANを用いた映像コンテンツスワッピング
• Authors: Tingfung Lau, Sailun Xu, Xinze Wang
• Abstract要約: この作業では、ビデオの任意のフレームをコンテンツとポーズに分解します。 まず、事前訓練された人間のポーズ検出を用いて映像からポーズ情報を抽出し、生成モデルを用いてコンテンツコードに基づいて映像を合成し、コードを合成する。
• 参考スコア（独自算出の注目度）: 1.2300363114433952
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Video generation is an interesting problem in computer vision. It is quite popular for data augmentation, special effect in move, AR/VR and so on. With the advances of deep learning, many deep generative models have been proposed to solve this task. These deep generative models provide away to utilize all the unlabeled images and videos online, since it can learn deep feature representations with unsupervised manner. These models can also generate different kinds of images, which have great value for visual application. However generating a video would be much more challenging since we need to model not only the appearances of objects in the video but also their temporal motion. In this work, we will break down any frame in the video into content and pose. We first extract the pose information from a video using a pre-trained human pose detection and use a generative model to synthesize the video based on the content code and pose code.
• Abstract（参考訳）: ビデオ生成はコンピュータビジョンにおける興味深い問題である。 データ拡張、移動における特殊効果、AR/VRなど、非常に人気がある。 ディープラーニングの進歩により、この課題を解決するために多くの深層生成モデルが提案されている。 これらの深層生成モデルは、教師なしの方法で深い特徴表現を学習できるため、ラベルのない画像やビデオをすべてオンラインで利用できる。 これらのモデルは異なる種類のイメージを生成することもでき、ビジュアルアプリケーションにとって大きな価値がある。 しかし、ビデオの生成は、ビデオ内のオブジェクトの出現だけでなく、時間的な動きもモデル化する必要があるため、もっと難しいでしょう。 この作品では、ビデオのどのフレームもコンテンツに分解してポーズを取る。 まず,事前学習された人間のポーズ検出を用いて映像からポーズ情報を抽出し,生成モデルを用いてコンテンツコードとポーズコードに基づいて映像を合成する。

関連論文リスト

• WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models [132.77237314239025]
  ビデオ仮想トライオンは、衣料品のアイデンティティを維持し、ソースビデオにおける人のポーズと身体の形に適応する現実的なシーケンスを生成することを目的としている。 従来の画像ベースの手法は、ワープとブレンディングに依存しており、複雑な人間の動きや閉塞に苦しむ。 衣料品の説明や人間の動きを条件とした映像生成のプロセスとして,映像試行を再認識する。 私たちのソリューションであるWildVidFitは、画像ベースで制御された拡散モデルを用いて、一段階の合理化を図っている。
  論文  参考訳（メタデータ） (2024-07-15T11:21:03Z)
• Splatter a Video: Video Gaussian Representation for Versatile Processing [48.9887736125712]
  ビデオ表現は、トラッキング、深度予測、セグメンテーション、ビュー合成、編集など、さまざまなダウンストリームタスクに不可欠である。 我々は,映像を3Dガウスに埋め込む,新しい3D表現-ビデオガウス表現を導入する。 トラッキング、一貫したビデオ深度と特徴の洗練、動きと外観の編集、立体映像生成など、多数のビデオ処理タスクで有効であることが証明されている。
  論文  参考訳（メタデータ） (2024-06-19T22:20:03Z)
• VideoPhy: Evaluating Physical Commonsense for Video Generation [93.28748850301949]
  生成したビデオが現実世界のアクティビティの物理的常識に従うかどうかを評価するためのベンチマークであるVideoPhyを提示する。 そして、さまざまな最先端のテキスト・ビデオ生成モデルからキャプションに条件付けされたビデオを生成する。 人間の評価では、既存のモデルには、与えられたテキストプロンプトに付着したビデオを生成する能力が欠けていることが判明した。
  論文  参考訳（メタデータ） (2024-06-05T17:53:55Z)
• ViViD: Video Virtual Try-on using Diffusion Models [46.710863047471264]
  Video Virtual try-onは、服のアイテムを対象者のビデオに転送することを目的としている。 これまでのビデオベースの試行錯誤ソリューションは、視力の低い結果とぼやけた結果しか生成できない。 ビデオ仮想トライオンの課題に対処するために,強力な拡散モデルを用いた新しいフレームワークViViDを提案する。
  論文  参考訳（メタデータ） (2024-05-20T05:28:22Z)
• VGMShield: Mitigating Misuse of Video Generative Models [7.963591895964269]
  VGMShieldは、フェイクビデオ生成のライフサイクルを通じて、単純だが先駆的な3つの緩和セットである。 まず、生成されたビデオにユニークさがあるかどうか、そしてそれらを実際のビデオと区別できるかどうかを理解する。 そこで本研究では,偽動画を生成モデルにマッピングするテクトニクス問題について検討する。
  論文  参考訳（メタデータ） (2024-02-20T16:39:23Z)
• ActAnywhere: Subject-Aware Video Background Generation [62.57759679425924]
  映画産業や視覚効果のコミュニティにとって,前景運動に合わせた映像背景の生成は重要な課題である。 この課題は、前景の主題の動きと外観と整合する背景と、芸術家の創造的な意図に合致する。 私たちは、伝統的に面倒な手作業を必要とするこのプロセスを自動化する生成モデルであるActAnywhereを紹介します。
  論文  参考訳（メタデータ） (2024-01-19T17:16:16Z)
• DreamVideo: Composing Your Dream Videos with Customized Subject and Motion [52.7394517692186]
  対象の静的画像からパーソナライズされたビデオを生成する新しいアプローチであるDreamVideoを紹介します。 DreamVideoは、このタスクを、トレーニング済みのビデオ拡散モデルを活用することによって、主観学習とモーション学習の2つの段階に分離する。 モーション学習では、対象のモーションパターンを効果的にモデル化するために、モーションアダプタを設計し、所定のビデオに微調整する。
  論文  参考訳（メタデータ） (2023-12-07T16:57:26Z)
• A Good Image Generator Is What You Need for High-Resolution Video Synthesis [73.82857768949651]
  現代画像生成装置を用いて高解像度映像のレンダリングを行うフレームワークを提案する。 我々は,映像合成問題を,予め訓練された固定された画像生成装置の潜時空間における軌跡の発見とみなす。 本稿では,コンテンツや動きが絡み合っている所望の軌跡を検出するモーションジェネレータを提案する。
  論文  参考訳（メタデータ） (2021-04-30T15:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。