論文の概要: Self-Supervised Equivariant Scene Synthesis from Video
- arxiv url: http://arxiv.org/abs/2102.00863v1
- Date: Mon, 1 Feb 2021 14:17:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-03 01:37:04.450387
- Title: Self-Supervised Equivariant Scene Synthesis from Video
- Title(参考訳): 映像からの自己監督等変性シーン合成
- Authors: Cinjon Resnick, Or Litany, Cosmas Hei{\ss}, Hugo Larochelle, Joan
Bruna, Kyunghyun Cho
- Abstract要約: 本稿では,映像からシーン表現を学習するフレームワークを提案する。
トレーニング後、画像エンコーディングをリアルタイムで操作して、非表示のコンポーネントの組み合わせを生成することができる。
背景を持つMNISTの移動、2Dビデオゲームのスプライト、ファッションモデリングの3つのデータセットで結果を示す。
- 参考スコア(独自算出の注目度): 84.15595573718925
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a self-supervised framework to learn scene representations from
video that are automatically delineated into background, characters, and their
animations. Our method capitalizes on moving characters being equivariant with
respect to their transformation across frames and the background being constant
with respect to that same transformation. After training, we can manipulate
image encodings in real time to create unseen combinations of the delineated
components. As far as we know, we are the first method to perform unsupervised
extraction and synthesis of interpretable background, character, and animation.
We demonstrate results on three datasets: Moving MNIST with backgrounds, 2D
video game sprites, and Fashion Modeling.
- Abstract(参考訳): 本研究では,背景,キャラクタ,アニメーションに自動的に区切られた映像からシーン表現を学習するための自己教師付きフレームワークを提案する。
本手法は,フレーム間の変換に対して等変性を持ち,背景が同じ変換に対して一定であることに着目した。
トレーニング後、画像エンコーディングをリアルタイムで操作して、非表示のコンポーネントの組み合わせを作成できます。
私たちが知る限り、我々は、解釈可能な背景、キャラクタ、アニメーションの教師なし抽出と合成を行う最初の方法である。
我々は,背景付きmnistの移動,2次元ビデオゲームスプライト,ファッションモデリングという3つのデータセットで結果を示す。
関連論文リスト
- Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for
Character Animation [29.35175159679592]
拡散モデルは、その堅牢な生成能力のために、視覚世代研究の主流となっている。
本稿では,キャラクターアニメーションに適した新しいフレームワークを提案する。
トレーニングデータを拡張することにより、任意の文字をアニメーション化することが可能となり、他の画像とビデオの手法と比較して、文字アニメーションにおいて優れた結果が得られる。
論文 参考訳(メタデータ) (2023-11-28T12:27:15Z) - Blocks2World: Controlling Realistic Scenes with Editable Primitives [5.541644538483947]
我々は3Dシーンのレンダリングと編集のための新しい方法であるBlocks2Worldを提案する。
本手法は,コンベックス分解を用いて,各シーンの様々な物体から3次元並列入力を抽出することから始める。
次のステージでは、2Dレンダリングされた凸プリミティブから画像を生成することを学ぶ条件付きモデルをトレーニングする。
論文 参考訳(メタデータ) (2023-07-07T21:38:50Z) - Follow Your Pose: Pose-Guided Text-to-Video Generation using Pose-Free
Videos [107.65147103102662]
本研究では、ポーズ制御可能なキャラクタビデオを得るために、データセット(ポーズペアとポーズフリービデオ)と事前訓練されたテキスト・ツー・イメージ(T2I)モデルを利用する。
具体的には、第1段階では、キーポイントと画像のペアのみが制御可能なテキストと画像の生成にのみ使用される。
第2段階では、学習可能な時間的自己アテンションと修正されたクロスフレーム自己アテンションブロックを追加することで、ポーズのないビデオデータセットを介して、上記のネットワークの動きを微調整する。
論文 参考訳(メタデータ) (2023-04-03T17:55:14Z) - Vid2Actor: Free-viewpoint Animatable Person Synthesis from Video in the
Wild [22.881898195409885]
対象者の「夢中」映像が与えられた場合、映像中の人物のアニマタブルなモデルを再構築する。
出力モデルは、明示的な3dメッシュ再構成なしに、学習されたコントロールを介して、任意のカメラビューに任意のボディポーズでレンダリングすることができる。
論文 参考訳(メタデータ) (2020-12-23T18:50:42Z) - Learned Equivariant Rendering without Transformation Supervision [105.15592625987911]
本稿では,映像からシーン表現を学習するフレームワークを提案する。
トレーニング後、シーンをリアルタイムで操作してレンダリングすることで、オブジェクト、変換、バックグラウンドの目に見えない組み合わせを作ることができます。
論文 参考訳(メタデータ) (2020-11-11T14:05:05Z) - Unpaired Motion Style Transfer from Video to Animation [74.15550388701833]
1つのアニメーションクリップからもう1つのアニメーションクリップへモーションスタイルを転送する一方で、後者のモーションコンテンツを保存することは、キャラクターアニメーションにおいて長年の課題であった。
本稿では,スタイルラベル付き動きの集合から学習する動きスタイル伝達のための新しいデータ駆動フレームワークを提案する。
本フレームワークでは,映像から直接動作スタイルを抽出し,3次元再構成をバイパスし,これらを3次元入力動作に適用することができる。
論文 参考訳(メタデータ) (2020-05-12T13:21:27Z) - Future Video Synthesis with Object Motion Prediction [54.31508711871764]
画像を直接合成するのではなく、複雑なシーンのダイナミクスを理解するように設計されている。
将来のシーンコンポーネントの出現は、背景の非剛性変形と移動物体のアフィン変換によって予測される。
CityscapesとKITTIデータセットの実験結果から、我々のモデルは視覚的品質と精度で最先端のモデルよりも優れています。
論文 参考訳(メタデータ) (2020-04-01T16:09:54Z) - First Order Motion Model for Image Animation [90.712718329677]
画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。
我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
論文 参考訳(メタデータ) (2020-02-29T07:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。