論文の概要: Motion-Conditioned Image Animation for Video Editing
- arxiv url: http://arxiv.org/abs/2311.18827v1
- Date: Thu, 30 Nov 2023 18:59:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 14:58:40.330213
- Title: Motion-Conditioned Image Animation for Video Editing
- Title（参考訳）: 映像編集のための動画像アニメーション
- Authors: Wilson Yan, Andrew Brown, Pieter Abbeel, Rohit Girdhar, Samaneh Azadi
- Abstract要約: MoCAは動画編集のためのモーションコンディション・イメージ・アニメーション・アプローチである。
提案するベンチマークでは,MoCAとともに最新の映像編集手法の総合的評価を行う。
MoCAは新たな最先端技術を確立し、人間の嗜好の勝利率を高め、最近の顕著なアプローチよりも優れています。
- 参考スコア（独自算出の注目度）: 65.90398261600964
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce MoCA, a Motion-Conditioned Image Animation approach for video
editing. It leverages a simple decomposition of the video editing problem into
image editing followed by motion-conditioned image animation. Furthermore,
given the lack of robust evaluation datasets for video editing, we introduce a
new benchmark that measures edit capability across a wide variety of tasks,
such as object replacement, background changes, style changes, and motion
edits. We present a comprehensive human evaluation of the latest video editing
methods along with MoCA, on our proposed benchmark. MoCA establishes a new
state-of-the-art, demonstrating greater human preference win-rate, and
outperforming notable recent approaches including Dreamix (63%), MasaCtrl
(75%), and Tune-A-Video (72%), with especially significant improvements for
motion edits.
- Abstract（参考訳）: 動画編集のためのモーションコンディション画像アニメーション手法であるMoCAを紹介する。
ビデオ編集問題の簡単な分解を画像編集に活用し、次にモーションコンディショニング画像アニメーションを利用する。
さらに,ビデオ編集にロバストな評価データセットが欠如していることを踏まえ,オブジェクト置換,バックグラウンド変更,スタイル変更,モーション編集など,さまざまなタスクにおける編集能力を測定する新たなベンチマークを導入する。
提案するベンチマークでは,MoCAとともに最新の映像編集手法の総合的評価を行う。
MoCAは新たな最先端技術を確立し、人間の好みの勝利率を高め、Dreamix(63%)、MathCtrl(7%)、Tune-A-Video(72%)など、最近の注目すべきアプローチよりも優れており、特にモーション編集の大幅な改善がある。
関連論文リスト
- MotionFollower: Editing Video Motion via Lightweight Score-Guided Diffusion [94.66090422753126]
MotionFollowerは、ビデオモーション編集のための軽量なスコア誘導拡散モデルである。
優れたモーション編集性能を提供し、大きなカメラの動きとアクションのみをサポートする。
最新のモーション編集モデルであるMotionEditorと比較して、MotionFollowerはGPUメモリの約80%の削減を実現している。
論文 参考訳（メタデータ） (2024-05-30T17:57:30Z) - I2VEdit: First-Frame-Guided Video Editing via Image-to-Video Diffusion Models [18.36472998650704]
本稿では,1フレームからビデオ全体への編集を事前学習した画像対ビデオモデルを用いてプロパガンダすることで,画像編集ツールをビデオに適用可能にする,新しい汎用的ソリューションを提案する。
I2VEditと呼ばれる本手法は,編集範囲に応じて映像の視覚的・運動的整合性を適応的に保持する。
論文 参考訳（メタデータ） (2024-05-26T11:47:40Z) - ReVideo: Remake a Video with Motion and Content Control [67.5923127902463]
本稿では,コンテンツと動画の両方の仕様により,特定の領域における正確な映像編集を可能にするビデオリメイク(VideoRe)を提案する。
VideoReは、コンテンツとモーションコントロールの結合とトレーニングの不均衡を含む新しいタスクに対処する。
また,本手法は,特定のトレーニングを変更することなく,その柔軟性と堅牢性を示すことなく,これらのアプリケーションをマルチエリア編集にシームレスに拡張することができる。
論文 参考訳（メタデータ） (2024-05-22T17:46:08Z) - Action Reimagined: Text-to-Pose Video Editing for Dynamic Human Actions [49.14827857853878]
ReimaginedActはビデオ理解、推論、編集モジュールを含む。
提案手法は, 直接指示文のプロンプトだけでなく, 行動変化を予測するための質問も受けられる。
論文 参考訳（メタデータ） (2024-03-11T22:46:46Z) - SAVE: Protagonist Diversification with Structure Agnostic Video Editing [29.693364686494274]
従来の作品は通常、自明で一貫した形状でうまく機能し、元のものと大きく異なる体形を持つ難しいターゲットで容易に崩壊する。
動きのパーソナライズを単一音源映像から分離し,それに応じて動きの調整を行う。
我々はまた、新しい擬似光学フローを導入することにより、動き語を適切な動き関連領域に適応するように調整する。
論文 参考訳（メタデータ） (2023-12-05T05:13:20Z) - MotionEditor: Editing Video Motion via Content-Aware Diffusion [96.825431998349]
MotionEditorはビデオモーション編集のための拡散モデルである。
新たなコンテンツ対応モーションアダプタをControlNetに組み込んで、時間的モーション対応をキャプチャする。
論文 参考訳（メタデータ） (2023-11-30T18:59:33Z) - MagicProp: Diffusion-based Video Editing via Motion-aware Appearance
Propagation [74.32046206403177]
MagicPropは、ビデオ編集プロセスを、外観編集とモーション対応の外観伝搬という2つのステージに分割する。
第一段階では、MagicPropは入力ビデオから単一のフレームを選択し、フレームの内容やスタイルを変更するために画像編集技術を適用する。
第2段階では、MagicPropは編集されたフレームを外観参照として使用し、自動回帰レンダリングアプローチを使用して残りのフレームを生成する。
論文 参考訳（メタデータ） (2023-09-02T11:13:29Z) - Dreamix: Video Diffusion Models are General Video Editors [22.127604561922897]
テキスト駆動画像とビデオ拡散モデルは最近、前例のない世代のリアリズムを達成した。
一般的なビデオのテキストベースの動きと外観編集を行うことができる最初の拡散ベース手法を提案する。
論文 参考訳（メタデータ） (2023-02-02T18:58:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。