論文の概要: Xp-GAN: Unsupervised Multi-object Controllable Video Generation

• arxiv url: http://arxiv.org/abs/2111.10233v1
• Date: Fri, 19 Nov 2021 14:10:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-22 20:20:11.266041
• Title: Xp-GAN: Unsupervised Multi-object Controllable Video Generation
• Title（参考訳）: xp-gan:マルチオブジェクト制御可能なビデオ生成
• Authors: Bahman Rouhani, Mohammad Rahmati
• Abstract要約: ビデオ生成は比較的新しいが、機械学習では人気がある。 ビデオ生成の現在の手法は、生成ビデオ内のオブジェクトの移動方法の正確な仕様をほとんど、あるいはまったく制御しない。 そこで,本研究では,対象物の上に有界なボックスを描き,そのボックスを所望の経路で移動させることで,単一の初期フレームの任意のオブジェクトを移動させる手法を提案する。
• 参考スコア（独自算出の注目度）: 8.807587076209566
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Video Generation is a relatively new and yet popular subject in machine learning due to its vast variety of potential applications and its numerous challenges. Current methods in Video Generation provide the user with little or no control over the exact specification of how the objects in the generate video are to be moved and located at each frame, that is, the user can't explicitly control how each object in the video should move. In this paper we propose a novel method that allows the user to move any number of objects of a single initial frame just by drawing bounding boxes over those objects and then moving those boxes in the desired path. Our model utilizes two Autoencoders to fully decompose the motion and content information in a video and achieves results comparable to well-known baseline and state of the art methods.
• Abstract（参考訳）: ビデオ生成は、幅広い潜在的なアプリケーションと多くの課題のために、機械学習において比較的新しいが人気がある分野である。 ビデオ生成における現在のメソッドは、ビデオ生成中のオブジェクトがどのように移動され、各フレームに配置されるかの正確な仕様について、ユーザがほとんど、あるいはまったく制御できない。 本稿では,オブジェクト上にバウンディングボックスを描画し,そのボックスを所望の経路に移動させるだけで,単一の初期フレームの任意の数のオブジェクトを移動させることができる新しい方法を提案する。 本モデルでは,2つのオートエンコーダを用いて動画中の動作情報とコンテンツ情報を完全に分解し,アート手法のベースラインと状態に匹敵する結果を得る。

関連論文リスト

• DragEntity: Trajectory Guided Video Generation using Entity and Positional Relationships [16.501613834154746]
  DragEntityは、複数のオブジェクトの動きを制御するためにエンティティ表現を利用するビデオ生成モデルである。 我々はDragEntityの有効性を検証し、ビデオ生成におけるきめ細かい制御の優れた性能を実証した。
  論文  参考訳（メタデータ） (2024-10-14T17:24:35Z)
• Drag-A-Video: Non-rigid Video Editing with Point-based Interaction [63.78538355189017]
  そこで我々はDrag-A-Videoと呼ばれるインタラクティブなポイントベースビデオ操作のための拡散に基づく新しい手法を提案する。 本手法では,入力ビデオの第1フレームのマスクだけでなく,ハンドポイントとターゲットポイントのペアをクリックできる。 映像の内容を正確に修正するために,ビデオの機能を更新するために,新しい映像レベルのモーションインスペクタを用いる。
  論文  参考訳（メタデータ） (2023-12-05T18:05:59Z)
• Multi-object Video Generation from Single Frame Layouts [84.55806837855846]
  本研究では,グローバルシーンを局所オブジェクトに合成するビデオ生成フレームワークを提案する。 我々のフレームワークは、画像生成手法からの非自明な適応であり、この分野では新しくなっています。 本モデルは広範に使用されている2つのビデオ認識ベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-05-06T09:07:01Z)
• Playable Environments: Video Manipulation in Space and Time [98.0621309257937]
  再生可能な環境 - 空間と時間におけるインタラクティブなビデオ生成と操作のための新しい表現。 提案フレームワークでは,1枚の画像を推論時に生成し,対象物を3次元に移動させ,所望のアクションを連続して生成する。 提案手法は,各フレームの環境状態を構築し,提案したアクションモジュールで操作し,ボリュームレンダリングで画像空間に復号化することができる。
  論文  参考訳（メタデータ） (2022-03-03T18:51:05Z)
• Click to Move: Controlling Video Generation with Sparse Motion [30.437648200928603]
  Click to Move (C2M)は、ユーザーがマウスクリックで合成ビデオの動きを制御できるビデオ生成の新しいフレームワークである。 本モデルでは,初期フレーム,対応するセグメンテーションマップ,ユーザが提供する入力を符号化するスパース動作ベクトルを入力として受信する。 与えられたフレームから始まり、ユーザ入力と整合したモーションで、もっともらしいビデオシーケンスを出力する。
  論文  参考訳（メタデータ） (2021-08-19T17:33:13Z)
• A Good Image Generator Is What You Need for High-Resolution Video Synthesis [73.82857768949651]
  現代画像生成装置を用いて高解像度映像のレンダリングを行うフレームワークを提案する。 我々は,映像合成問題を,予め訓練された固定された画像生成装置の潜時空間における軌跡の発見とみなす。 本稿では,コンテンツや動きが絡み合っている所望の軌跡を検出するモーションジェネレータを提案する。
  論文  参考訳（メタデータ） (2021-04-30T15:38:41Z)
• Few-Shot Learning for Video Object Detection in a Transfer-Learning Scheme [70.45901040613015]
  ビデオ物体検出のための数発学習の新たな課題について検討する。 我々は,多数のベースクラスオブジェクトに対して映像物体検出を効果的に訓練するトランスファー学習フレームワークと,ノベルクラスオブジェクトのいくつかのビデオクリップを用いる。
  論文  参考訳（メタデータ） (2021-03-26T20:37:55Z)
• First Order Motion Model for Image Animation [90.712718329677]
  画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。 我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
  論文  参考訳（メタデータ） (2020-02-29T07:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。