Fugu-MT 論文翻訳(概要): Video Reenactment as Inductive Bias for Content-Motion Disentanglement

論文の概要: Video Reenactment as Inductive Bias for Content-Motion Disentanglement

arxiv url: http://arxiv.org/abs/2102.00324v1
Date: Sat, 30 Jan 2021 22:07:43 GMT
ステータス: 処理完了
システム内更新日: 2021-02-02 21:05:38.809758
Title: Video Reenactment as Inductive Bias for Content-Motion Disentanglement
Title（参考訳）: 映像再生によるコンテンツ・モーション・ディエンタングルメントのインダクティブバイアス
Authors: Juan F. Hern\'andez Albarrac\'in and Ad\'in Ram\'irez Rivera
Abstract要約: 本稿では,映像から映像や映像を遠ざけるための自己監督型モーショントランスファーVAEモデルを提案する。我々のモデルは、独立して時間的一貫性をモデル化できるチャンクごとに生成される。本稿では,最近提案したゆがみ指標を用いて実験を行い,映像のゆがみに対する様々な手法に優れることを示す。
参考スコア（独自算出の注目度）: 0.6445605125467572
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce a self-supervised motion-transfer VAE model to disentangle motion and content from video. Unlike previous work regarding content-motion disentanglement in videos, we adopt a chunk-wise modeling approach and take advantage of the motion information contained in spatiotemporal neighborhoods. Our model yields per-chunk representations that can be modeled independently and preserve temporal consistency. Hence, we reconstruct whole videos in a single forward-pass. We extend the ELBO's log-likelihood term and include a Blind Reenactment Loss as inductive bias to leverage motion disentanglement, under the assumption that swapping motion features yields reenactment between two videos. We test our model on recently-proposed disentanglement metrics, and show that it outperforms a variety of methods for video motion-content disentanglement. Experiments on video reenactment show the effectiveness of our disentanglement in the input space where our model outperforms the baselines in reconstruction quality and motion alignment.
Abstract（参考訳）: 動画から動きやコンテンツを切り離すための自己監視型モーショントランスファーVAEモデルを紹介します。映像におけるコンテンツ・モーション・ディエングルメントに関するこれまでの研究とは異なり、私たちはチャンクワイズモデリングアプローチを採用し、時空間近傍に含まれるモーション情報を利用しています。我々のモデルは、独立にモデル化され、時間的一貫性を保つことができるチャンク毎の表現を生成する。したがって、ビデオ全体を単一のフォワードパスで再構築する。 ELBOのログの類似期間を延長し、モーション機能のスワップが2つのビデオ間の再現をもたらすと仮定して、インダクタティブバイアスとしてBlind Reenactment Lossを含む。提案する不等角化指標を用いて実験を行い,ビデオモーションコンテンツの不等角化の方法が多種多様であることを示す。映像再現実験では,モデルが復元品質と動作アライメントのベースラインを上回る入力空間における不連続の効果が示された。
全文参考訳へのリンク