論文の概要: Learned Equivariant Rendering without Transformation Supervision
- arxiv url: http://arxiv.org/abs/2011.05787v1
- Date: Wed, 11 Nov 2020 14:05:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 00:26:23.971331
- Title: Learned Equivariant Rendering without Transformation Supervision
- Title(参考訳): 変換スーパービジョンのない学習された同変レンダリング
- Authors: Cinjon Resnick, Or Litany, Hugo Larochelle, Joan Bruna, Kyunghyun Cho
- Abstract要約: 本稿では,映像からシーン表現を学習するフレームワークを提案する。
トレーニング後、シーンをリアルタイムで操作してレンダリングすることで、オブジェクト、変換、バックグラウンドの目に見えない組み合わせを作ることができます。
- 参考スコア(独自算出の注目度): 105.15592625987911
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a self-supervised framework to learn scene representations from
video that are automatically delineated into objects and background. Our method
relies on moving objects being equivariant with respect to their transformation
across frames and the background being constant. After training, we can
manipulate and render the scenes in real time to create unseen combinations of
objects, transformations, and backgrounds. We show results on moving MNIST with
backgrounds.
- Abstract(参考訳): 本稿では,映像からシーン表現を学習するための自己教師付きフレームワークを提案する。
提案手法は,移動物体のフレーム間の変換や背景の定値化に依拠する。
トレーニング後、シーンをリアルタイムで操作し、オブジェクト、変換、背景の見えない組み合わせを作成できます。
背景を持つMNISTの移動結果を示す。
関連論文リスト
- Magic Fixup: Streamlining Photo Editing by Watching Dynamic Videos [32.74215702447293]
本稿では,所定のレイアウトに従うフォトリアリスティックな出力を合成する生成モデルを提案する。
本手法は,元の画像から細かな詳細を転送し,その部分の同一性を保持する。
簡単なセグメンテーションと粗い2D操作により、ユーザの入力に忠実なフォトリアリスティックな編集を合成できることを示す。
論文 参考訳(メタデータ) (2024-03-19T17:59:58Z) - Learning Explicit Object-Centric Representations with Vision
Transformers [81.38804205212425]
我々は、マスク付き自動符号化の自己超越タスクを構築し、トランスフォーマーを用いたオブジェクト中心表現学習の有効性を探求する。
複数のマルチオブジェクト・ベンチマークのセグメンテーション・メトリクスによって測定された単純なシーンを効率的に分解できることを示す。
論文 参考訳(メタデータ) (2022-10-25T16:39:49Z) - Understanding Object Dynamics for Interactive Image-to-Video Synthesis [8.17925295907622]
本稿では,局所的な操作によって自然に見えるグローバルな調音をピクセルレベルで学習する手法を提案する。
我々の生成モデルは、ユーザインタラクションに対する応答として、自然なオブジェクトのダイナミクスを推論することを学ぶ。
ビデオ予測に関する既存の研究とは対照的に、任意のリアルなビデオは合成しない。
論文 参考訳(メタデータ) (2021-06-21T17:57:39Z) - Self-Supervised Equivariant Scene Synthesis from Video [84.15595573718925]
本稿では,映像からシーン表現を学習するフレームワークを提案する。
トレーニング後、画像エンコーディングをリアルタイムで操作して、非表示のコンポーネントの組み合わせを生成することができる。
背景を持つMNISTの移動、2Dビデオゲームのスプライト、ファッションモデリングの3つのデータセットで結果を示す。
論文 参考訳(メタデータ) (2021-02-01T14:17:31Z) - Self-Supervised Representation Learning from Flow Equivariance [97.13056332559526]
本稿では,複雑なシーンの映像ストリームに直接展開可能な,自己教師型学習表現フレームワークを提案する。
高分解能rawビデオから学んだ我々の表現は、静的画像の下流タスクに簡単に使用できます。
論文 参考訳(メタデータ) (2021-01-16T23:44:09Z) - Future Video Synthesis with Object Motion Prediction [54.31508711871764]
画像を直接合成するのではなく、複雑なシーンのダイナミクスを理解するように設計されている。
将来のシーンコンポーネントの出現は、背景の非剛性変形と移動物体のアフィン変換によって予測される。
CityscapesとKITTIデータセットの実験結果から、我々のモデルは視覚的品質と精度で最先端のモデルよりも優れています。
論文 参考訳(メタデータ) (2020-04-01T16:09:54Z) - First Order Motion Model for Image Animation [90.712718329677]
画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。
我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
論文 参考訳(メタデータ) (2020-02-29T07:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。