論文の概要: Structure-Aware Motion Transfer with Deformable Anchor Model
- arxiv url: http://arxiv.org/abs/2204.05018v1
- Date: Mon, 11 Apr 2022 11:36:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-12 16:52:12.811968
- Title: Structure-Aware Motion Transfer with Deformable Anchor Model
- Title（参考訳）: 変形可能なアンカーモデルによる構造認識運動伝達
- Authors: Jiale Tao, Biao Wang, Borun Xu, Tiezheng Ge, Yuning Jiang, Wen Li,
Lixin Duan
- Abstract要約: 原画像と同一の物体型を描写した駆動映像が与えられた場合、移動伝達タスクは、駆動映像から動画を学習して映像を生成することを目的としている。
変形可能なアンカーモデル(DAM)を用いた新しい構造認識型モーションモデリング手法を提案する。
DAMは、以前の構造情報を活用することなく、任意の物体の運動構造を自動的に発見することができる。
- 参考スコア（独自算出の注目度）: 37.68513755439117
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given a source image and a driving video depicting the same object type, the
motion transfer task aims to generate a video by learning the motion from the
driving video while preserving the appearance from the source image. In this
paper, we propose a novel structure-aware motion modeling approach, the
deformable anchor model (DAM), which can automatically discover the motion
structure of arbitrary objects without leveraging their prior structure
information. Specifically, inspired by the known deformable part model (DPM),
our DAM introduces two types of anchors or keypoints: i) a number of motion
anchors that capture both appearance and motion information from the source
image and driving video; ii) a latent root anchor, which is linked to the
motion anchors to facilitate better learning of the representations of the
object structure information. Moreover, DAM can be further extended to a
hierarchical version through the introduction of additional latent anchors to
model more complicated structures. By regularizing motion anchors with latent
anchor(s), DAM enforces the correspondences between them to ensure the
structural information is well captured and preserved. Moreover, DAM can be
learned effectively in an unsupervised manner. We validate our proposed DAM for
motion transfer on different benchmark datasets. Extensive experiments clearly
demonstrate that DAM achieves superior performance relative to existing
state-of-the-art methods.
- Abstract（参考訳）: 動き伝達タスクは、ソース画像と同一のオブジェクトタイプを描写した駆動ビデオが与えられた場合、ソース画像からの外観を保ちながら、駆動ビデオから動きを学習して映像を生成する。
本稿では,任意の物体の運動構造を,その先行構造情報を活用せずに自動的に検出できる,構造認識型モーションモデリング手法であるdeformable anchor model(dam)を提案する。
具体的には、既知の変形可能な部分モデル(DPM)にインスパイアされ、DAMは2つのタイプのアンカーまたはキーポイントを導入します。
一 原画像及び駆動映像から外観及び動作情報の両方をキャプチャする多数のモーションアンカー
二 物体構造情報の表現の学習の促進を図るため、動作アンカーにリンクされた潜伏ルートアンカー
さらにダムは、より複雑な構造をモデル化するための潜在アンカーの追加により階層的に拡張することができる。
動作アンカーを遅延アンカーで正規化することにより、DAMはそれらの間の対応を強制し、構造情報が適切に捕捉され保存されることを保証する。
さらに、DAMは教師なしの方法で効果的に学習することができる。
提案したDAMを,異なるベンチマークデータセット上でのモーショントランスファーに有効に検証する。
大規模な実験により、DAMは既存の最先端手法と比較して優れた性能を発揮することが示された。
関連論文リスト
- CustomCrafter: Customized Video Generation with Preserving Motion and Concept Composition Abilities [56.5742116979914]
CustomCrafterは、追加のビデオやリカバリのための微調整なしで、モデルの動き生成と概念的な組み合わせ能力を保持する。
動作生成においては,VDMは早期に映像の動きを回復する傾向にあり,後期では被写体の詳細の回復に焦点をあてる傾向が見られた。
論文 参考訳（メタデータ） (2024-08-23T17:26:06Z) - MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model [78.11258752076046]
MOFA-Videoは、様々な制御可能な信号を用いて、所定の画像から映像を生成する高度な制御可能な画像アニメーション手法である。
ビデオ生成パイプラインの動作を制御するために,複数のドメイン対応モーションフィールドアダプタを設計する。
トレーニングの後、異なるドメインのMOFA-Adaptersは、より制御可能なビデオ生成のために協力することもできる。
論文 参考訳（メタデータ） (2024-05-30T16:22:22Z) - Motion Segmentation from a Moving Monocular Camera [3.115818438802931]
我々は、点軌跡法と光フロー法という、単眼運動分割手法の2つの一般的な分岐を生かしている。
我々は異なるシーン構造で様々な複雑な物体の動きを同時にモデル化することができる。
提案手法は,KT3DMoSegデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2023-09-24T22:59:05Z) - Exploring Motion and Appearance Information for Temporal Sentence
Grounding [52.01687915910648]
本研究では、時間的文のグラウンド化を解決するために、MARN(Motion-Appearance Reasoning Network)を提案する。
動作誘導と外見誘導のオブジェクト関係を学習するために,動作分岐と外見分岐を別々に開発する。
提案するMARNは,従来の最先端手法よりも大きなマージンで優れていた。
論文 参考訳（メタデータ） (2022-01-03T02:44:18Z) - Self-supervised Video Object Segmentation by Motion Grouping [79.13206959575228]
動きの手がかりを利用して物体をセグメンテーションできるコンピュータビジョンシステムを開発した。
本稿では,光フローフレームを一次オブジェクトと背景に分割するトランスフォーマーの簡単なバリエーションを紹介する。
提案したアーキテクチャを公開ベンチマーク(DAVIS2016, SegTrackv2, FBMS59)で評価する。
論文 参考訳（メタデータ） (2021-04-15T17:59:32Z) - Betrayed by Motion: Camouflaged Object Discovery via Motion Segmentation [93.22300146395536]
本研究では,映像中のキャモフラージュされた物体を検出する計算アーキテクチャを設計し,特に物体のセグメンテーションを行うために動作情報を活用する。
最初の大規模な移動カモフラージュ動物(MoCA)ビデオデータセットを収集した。
提案手法の有効性を実証し,動作のみに依存して,DAVIS2016上の教師なしセグメンテーションプロトコル上での競合性能を実現する。
論文 参考訳（メタデータ） (2020-11-23T18:59:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。