論文の概要: Perception-as-Control: Fine-grained Controllable Image Animation with 3D-aware Motion Representation
- arxiv url: http://arxiv.org/abs/2501.05020v1
- Date: Thu, 09 Jan 2025 07:23:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-10 13:59:12.330253
- Title: Perception-as-Control: Fine-grained Controllable Image Animation with 3D-aware Motion Representation
- Title（参考訳）: 3次元運動表現を用いた知覚・理解・制御可能な微粒化画像アニメーション
- Authors: Yingjie Chen, Yifang Men, Yuan Yao, Miaomiao Cui, Liefeng Bo,
- Abstract要約: 本稿では3D対応モーション表現を導入し,詳細な協調動作制御を実現するために,Perception-as-Controlと呼ばれる画像アニメーションフレームワークを提案する。
具体的には、参照画像から3D対応の動作表現を構築し、解釈されたユーザ意図に基づいて操作し、異なる視点から知覚する。
このように、カメラとオブジェクトの動きは直感的で一貫した視覚的変化に変換される。
- 参考スコア（独自算出の注目度）: 21.87745390965703
- License:
- Abstract: Motion-controllable image animation is a fundamental task with a wide range of potential applications. Recent works have made progress in controlling camera or object motion via various motion representations, while they still struggle to support collaborative camera and object motion control with adaptive control granularity. To this end, we introduce 3D-aware motion representation and propose an image animation framework, called Perception-as-Control, to achieve fine-grained collaborative motion control. Specifically, we construct 3D-aware motion representation from a reference image, manipulate it based on interpreted user intentions, and perceive it from different viewpoints. In this way, camera and object motions are transformed into intuitive, consistent visual changes. Then, the proposed framework leverages the perception results as motion control signals, enabling it to support various motion-related video synthesis tasks in a unified and flexible way. Experiments demonstrate the superiority of the proposed framework. For more details and qualitative results, please refer to our project webpage: https://chen-yingjie.github.io/projects/Perception-as-Control.
- Abstract（参考訳）: モーションコントロール可能な画像アニメーションは、幅広い潜在的な応用の基本的な課題である。
近年の研究では、様々な動き表現を通してカメラや物体の動きを制御し、協調的なカメラや物体の動きの制御を適応的な制御粒度でサポートするのに苦戦している。
そこで本研究では,3次元動作表現を導入し,詳細な協調動作制御を実現するために,Perception-as-Controlと呼ばれる画像アニメーションフレームワークを提案する。
具体的には、参照画像から3D対応の動作表現を構築し、解釈されたユーザ意図に基づいて操作し、異なる視点から知覚する。
このように、カメラとオブジェクトの動きは直感的で一貫した視覚的変化に変換される。
そこで,提案フレームワークは,動作制御信号として認識結果を活用することで,様々な動作関連ビデオ合成タスクを統一的かつ柔軟な方法でサポートできるようにする。
提案したフレームワークの優位性を示す実験がある。
詳細と質的な結果については、プロジェクトのWebページを参照してください。
関連論文リスト
- AnimateAnything: Consistent and Controllable Animation for Video Generation [24.576022028967195]
本稿では,AnimateAnythingという統合制御可能なビデオ生成手法を提案する。
様々な条件にまたがる正確で一貫したビデオ操作を容易にする。
実験により,本手法は最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-11-16T16:36:49Z) - Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes [83.55301458112672]
Sitcom-Crafterは3D空間における人間のモーション生成システムである。
機能生成モジュールの中心は、我々の新しい3Dシーン対応ヒューマン・ヒューマン・インタラクションモジュールである。
拡張モジュールは、コマンド生成のためのプロット理解、異なるモーションタイプのシームレスな統合のためのモーション同期を含む。
論文 参考訳（メタデータ） (2024-10-14T17:56:19Z) - MotionBooth: Motion-Aware Customized Text-to-Video Generation [44.41894050494623]
MotionBoothは、オブジェクトとカメラの両方の動きを正確に制御して、カスタマイズされた被験者をアニメーションするためのフレームワークである。
オブジェクトの形状や属性を正確に把握するために,テキスト・ビデオ・モデルを効率的に微調整する。
提案手法は,被験者の学習能力を高めるために,被写体領域の損失とビデオ保存損失を示す。
論文 参考訳（メタデータ） (2024-06-25T17:42:25Z) - Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。
イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
論文 参考訳（メタデータ） (2024-06-21T17:55:05Z) - MotionFollower: Editing Video Motion via Lightweight Score-Guided Diffusion [94.66090422753126]
MotionFollowerは、ビデオモーション編集のための軽量なスコア誘導拡散モデルである。
優れたモーション編集性能を提供し、大きなカメラの動きとアクションのみをサポートする。
最新のモーション編集モデルであるMotionEditorと比較して、MotionFollowerはGPUメモリの約80%の削減を実現している。
論文 参考訳（メタデータ） (2024-05-30T17:57:30Z) - Follow-Your-Click: Open-domain Regional Image Animation via Short
Prompts [67.5094490054134]
簡単なユーザクリックで画像アニメーションを実現するために,Follow-Your-Clickという実用的なフレームワークを提案する。
我々のフレームワークは、従来の方法よりもシンプルで正確なユーザ制御と、より優れた生成性能を備えています。
論文 参考訳（メタデータ） (2024-03-13T05:44:37Z) - Direct-a-Video: Customized Video Generation with User-Directed Camera Movement and Object Motion [34.404342332033636]
我々は、カメラのパンやズームの動きだけでなく、複数のオブジェクトのモーションを独立して指定できるシステムであるDirect-a-Videoを紹介した。
カメラの動きの定量的なパラメータを解釈するために,新しい時間的クロスアテンション層を導入する。
どちらのコンポーネントも独立して動作し、個別または複合的な制御を可能にし、オープンドメインシナリオに一般化することができる。
論文 参考訳（メタデータ） (2024-02-05T16:30:57Z) - MotionCtrl: A Unified and Flexible Motion Controller for Video Generation [77.09621778348733]
ビデオ中の動きは、主にカメラの動きによって誘導されるカメラの動きと、物体の動きによって生じる物体の動きから成り立っている。
本稿では,カメラと物体の動きを効果的かつ独立に制御するビデオ生成用統合モーションコントローラであるMotionCtrlを提案する。
論文 参考訳（メタデータ） (2023-12-06T17:49:57Z) - Playable Environments: Video Manipulation in Space and Time [98.0621309257937]
再生可能な環境 - 空間と時間におけるインタラクティブなビデオ生成と操作のための新しい表現。
提案フレームワークでは,1枚の画像を推論時に生成し,対象物を3次元に移動させ,所望のアクションを連続して生成する。
提案手法は,各フレームの環境状態を構築し,提案したアクションモジュールで操作し,ボリュームレンダリングで画像空間に復号化することができる。
論文 参考訳（メタデータ） (2022-03-03T18:51:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。