Fugu-MT 論文翻訳(概要): Bidirectionally Deformable Motion Modulation For Video-based Human Pose Transfer

論文の概要: Bidirectionally Deformable Motion Modulation For Video-based Human Pose Transfer

arxiv url: http://arxiv.org/abs/2307.07754v1
Date: Sat, 15 Jul 2023 09:24:45 GMT
ステータス: 処理完了
システム内更新日: 2023-07-18 17:57:52.700435
Title: Bidirectionally Deformable Motion Modulation For Video-based Human Pose Transfer
Title（参考訳）: ビデオベースのポーズ伝達のための双方向変形可能な運動変調
Authors: Wing-Yin Yu, Lai-Man Po, Ray Cheung, Yuzhi Zhao, Yu Xue, Kun Li
Abstract要約: ビデオベースのヒューマンポーズ転送は、ビデオからビデオへの生成タスクであり、一連のターゲットの人間のポーズに基づいて、プレーンソースのヒューマンイメージを識別する。本稿では,不連続な特徴アライメントとスタイル転送を同時に行うために,適応重み変調を用いた幾何学的カーネルオフセットを用いた新しい変形可能運動変調(DMM)を提案する。
参考スコア（独自算出の注目度）: 15.02511946860176
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Video-based human pose transfer is a video-to-video generation task that animates a plain source human image based on a series of target human poses. Considering the difficulties in transferring highly structural patterns on the garments and discontinuous poses, existing methods often generate unsatisfactory results such as distorted textures and flickering artifacts. To address these issues, we propose a novel Deformable Motion Modulation (DMM) that utilizes geometric kernel offset with adaptive weight modulation to simultaneously perform feature alignment and style transfer. Different from normal style modulation used in style transfer, the proposed modulation mechanism adaptively reconstructs smoothed frames from style codes according to the object shape through an irregular receptive field of view. To enhance the spatio-temporal consistency, we leverage bidirectional propagation to extract the hidden motion information from a warped image sequence generated by noisy poses. The proposed feature propagation significantly enhances the motion prediction ability by forward and backward propagation. Both quantitative and qualitative experimental results demonstrate superiority over the state-of-the-arts in terms of image fidelity and visual continuity. The source code is publicly available at github.com/rocketappslab/bdmm.
Abstract（参考訳）: ビデオベースの人間のポーズ転送は、一連のターゲットの人間のポーズに基づいて、普通の人間の画像をアニメーション化するビデオ対ビデオ生成タスクである。衣服の高構造な模様や不連続なポーズの伝達が困難であることを考慮すると、既存の方法はしばしば歪んだテクスチャやフリックなアーティファクトといった不十分な結果を生み出す。これらの問題に対処するために,幾何学的カーネルオフセットと適応重み変調を用いたDMM(Deformable Motion Modulation)を提案し,特徴アライメントとスタイル転送を同時に行う。スタイル転送に使用される通常のスタイル変調とは異なり、提案された変調機構は、不規則な受容視野を通して、オブジェクト形状に応じたスタイルコードから滑らかなフレームを適応的に再構成する。時空間整合性を高めるために,両方向の伝搬を利用してノイズポーズによって生成された歪んだ画像列から隠れた動き情報を抽出する。提案する特徴伝達は前方および後方伝播による運動予測能力を大幅に向上させる。定量的および定性的な実験結果は、画像の忠実さと視覚的連続性の観点から、最先端技術よりも優れていることを示す。ソースコードはgithub.com/rocketappslab/bdmmで公開されている。

関連論文リスト

MotionFollower: Editing Video Motion via Lightweight Score-Guided Diffusion [94.66090422753126]
MotionFollowerは、ビデオモーション編集のための軽量なスコア誘導拡散モデルである。優れたモーション編集性能を提供し、大きなカメラの動きとアクションのみをサポートする。最新のモーション編集モデルであるMotionEditorと比較して、MotionFollowerはGPUメモリの約80%の削減を実現している。
論文参考訳（メタデータ） (2024-05-30T17:57:30Z)
Edit-Your-Motion: Space-Time Diffusion Decoupling Learning for Video Motion Editing [46.56615725175025]
本稿では,ワンショット微調整による未確認課題に対処するビデオモーション編集手法であるEdit-Your-Motionを紹介する。映像の動作と外観を効果的に分離するために,時間的二段階学習戦略を設計する。 Edit-Your-Motionを使えば、ユーザーはソースビデオの中の人間の動きを編集でき、より魅力的で多様なコンテンツを作ることができる。
論文参考訳（メタデータ） (2024-05-07T17:06:59Z)
Motion Guidance: Diffusion-Based Image Editing with Differentiable Motion Estimators [19.853978560075305]
モーションガイダンス(Motion Guide)は、画像の各ピクセルがどこに移動すべきかを示す、密度の高い複雑なモーションフィールドを指定できる技術である。本手法は複雑な動きに作用し、実画像や生成された画像の高品質な編集を可能にする。
論文参考訳（メタデータ） (2024-01-31T18:59:59Z)
MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。 MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
論文参考訳（メタデータ） (2023-12-08T16:31:04Z)
VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
論文参考訳（メタデータ） (2023-12-01T06:50:11Z)
MotionEditor: Editing Video Motion via Content-Aware Diffusion [96.825431998349]
MotionEditorはビデオモーション編集のための拡散モデルである。新たなコンテンツ対応モーションアダプタをControlNetに組み込んで、時間的モーション対応をキャプチャする。
論文参考訳（メタデータ） (2023-11-30T18:59:33Z)
High-Fidelity and Freely Controllable Talking Head Video Generation [31.08828907637289]
本稿では,頭部ポーズと表情を自由に制御できる高忠実な音声ヘッドビデオを生成する新しいモデルを提案する。顔の歪みを伴わずに効果的に動きを伝達する動き認識機能アライメントモジュールを新たに導入する。我々は,挑戦的データセットのモデルを評価し,その最先端性能を実証する。
論文参考訳（メタデータ） (2023-04-20T09:02:41Z)
Motion and Appearance Adaptation for Cross-Domain Motion Transfer [36.98500700394921]
モーショントランスファーは、ドライブビデオのモーションをソースイメージに転送することを目的としている。伝統的な単一ドメインの動き伝達アプローチは、しばしば顕著な成果物を生み出す。クロスドメインな動き伝達のための動き適応(MAA)手法を提案する。
論文参考訳（メタデータ） (2022-09-29T03:24:47Z)
Learning Motion-Dependent Appearance for High-Fidelity Rendering of Dynamic Humans from a Single Camera [49.357174195542854]
外観のダイナミクスを学ぶ上で重要な課題は、違法に大量の観測を必要とすることである。本手法は,1つの視点映像から,身体のポーズや新しいビューを時間的に協調的に生成できることを示す。
論文参考訳（メタデータ） (2022-03-24T00:22:03Z)
Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
論文参考訳（メタデータ） (2021-05-31T07:07:44Z)
Dual-MTGAN: Stochastic and Deterministic Motion Transfer for Image-to-Video Synthesis [38.41763708731513]
本稿では,映像データと映像データを入力として取り込むDual Motion Transfer GAN(Dual-MTGAN)を提案する。我々のDual-MTGANは、決定論的モーショントランスファーとモーションジェネレーションを行うことができる。提案モデルは、ポーズや顔のランドマークのような事前定義された動作特徴を利用することなく、エンドツーエンドでトレーニングされる。
論文参考訳（メタデータ） (2021-02-26T06:54:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。