論文の概要: MotionCom: Automatic and Motion-Aware Image Composition with LLM and Video Diffusion Prior

• arxiv url: http://arxiv.org/abs/2409.10090v1
• Date: Mon, 16 Sep 2024 08:44:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 16:09:48.774373
• Title: MotionCom: Automatic and Motion-Aware Image Composition with LLM and Video Diffusion Prior
• Title（参考訳）: MotionCom: LLMとビデオ拡散による自動・モーション対応画像合成
• Authors: Weijing Tao, Xiaofeng Yang, Miaomiao Cui, Guosheng Lin,
• Abstract要約: MotionComは、トレーニングなしのモーションアウェア拡散に基づく画像合成である。 ターゲットオブジェクトを動的にコヒーレントな結果で新しいシーンにシームレスに統合することを可能にする。
• 参考スコア（独自算出の注目度）: 51.672193627686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work presents MotionCom, a training-free motion-aware diffusion based image composition, enabling automatic and seamless integration of target objects into new scenes with dynamically coherent results without finetuning or optimization. Traditional approaches in this area suffer from two significant limitations: they require manual planning for object placement and often generate static compositions lacking motion realism. MotionCom addresses these issues by utilizing a Large Vision Language Model (LVLM) for intelligent planning, and a Video Diffusion prior for motion-infused image synthesis, streamlining the composition process. Our multi-modal Chain-of-Thought (CoT) prompting with LVLM automates the strategic placement planning of foreground objects, considering their potential motion and interaction within the scenes. Complementing this, we propose a novel method MotionPaint to distill motion-aware information from pretrained video diffusion models in the generation phase, ensuring that these objects are not only seamlessly integrated but also endowed with realistic motion. Extensive quantitative and qualitative results highlight MotionCom's superiority, showcasing its efficiency in streamlining the planning process and its capability to produce compositions that authentically depict motion and interaction.
• Abstract（参考訳）: この研究は、トレーニング不要なモーションアウェア拡散に基づく画像合成であるMotionComを、微調整や最適化なしに動的にコヒーレントな結果で、ターゲットオブジェクトを新しいシーンに自動的かつシームレスに統合することを可能にする。 この領域の伝統的なアプローチは、オブジェクト配置のための手動計画と、しばしば運動リアリズムを欠いた静的な構成を生成するという2つの重要な制限に悩まされている。 MotionComは、インテリジェントプランニングにLVLM(Large Vision Language Model)、モーション注入画像合成に先立つビデオ拡散を利用して、合成プロセスの合理化によってこれらの問題に対処する。 我々のマルチモーダルChain-of-Thought(CoT)はLVLMにより、シーン内の潜在的な動きや相互作用を考慮して、前景オブジェクトの戦略的配置計画を自動化する。 そこで本研究では,映像拡散モデルから映像拡散モデルから動き認識情報を抽出する手法であるMotionPaintを提案する。 広範に定量的かつ質的な結果は、MotionComの優位性を強調し、計画プロセスの合理化におけるその効率と、動きと相互作用を忠実に描写する作曲能力を示している。

関連論文リスト

• Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
  映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。 イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
  論文  参考訳（メタデータ） (2024-06-21T17:55:05Z)
• Video Diffusion Models are Training-free Motion Interpreter and Controller [20.361790608772157]
  本稿では,映像拡散モデルにおける動き認識機能を理解し,ローカライズし,操作するための新しい視点を提案する。 コンテンツ相関情報とフィルタリング動作チャネルを除去し,MOFT(Motion FeaTure)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T17:59:40Z)
• Motion Inversion for Video Customization [31.607669029754874]
  本稿では,映像モデルにおける動き表現の探索における広範なギャップに対処する,動き生成のための新しいアプローチを提案する。 本研究では,ビデオから抽出した時間的コヒーレントな埋め込みの集合であるMotion Embeddingsを紹介する。 我々の貢献には、カスタマイズタスクのための調整されたモーション埋め込みと、本手法の実用的メリットと有効性を示すことが含まれる。
  論文  参考訳（メタデータ） (2024-03-29T14:14:22Z)
• Animate Your Motion: Turning Still Images into Dynamic Videos [58.63109848837741]
  本稿では,マルチモーダル入力を管理する新しい手法であるScene and Motion Conditional Diffusion (SMCD)を紹介する。 SMCDは、認識されたモーションコンディショニングモジュールを組み込み、シーン条件を統合するための様々なアプローチを調査する。 我々のデザインは映像の品質、動きの精度、セマンティック・コヒーレンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-15T10:36:24Z)
• Motion Flow Matching for Human Motion Synthesis and Editing [75.13665467944314]
  本研究では,効率的なサンプリングと効率性を備えた人体運動生成のための新しい生成モデルであるemphMotion Flow Matchingを提案する。 提案手法は, 従来の拡散モデルにおいて, サンプリングの複雑さを1000ステップから10ステップに減らし, テキスト・ツー・モーション・ジェネレーション・ベンチマークやアクション・ツー・モーション・ジェネレーション・ベンチマークで同等の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-14T12:57:35Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• Learning Variational Motion Prior for Video-based Motion Capture [31.79649766268877]
  ビデオに基づくモーションキャプチャーのための新しい変分動作先行学習手法(VMP)を提案する。 我々のフレームワークはフレームワイドポーズ推定における時間的ジッタリングと障害モードを効果的に削減できる。 公開データセットとインザワイルドビデオの両方を用いた実験により、我々のフレームワークの有効性と一般化能力が実証された。
  論文  参考訳（メタデータ） (2022-10-27T02:45:48Z)
• AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control [145.61135774698002]
  我々は,与えられたシナリオで追跡するキャラクタの動作を選択するための完全自動化手法を提案する。 キャラクタが実行するべきハイレベルなタスク目標は、比較的単純な報酬関数によって指定できる。 キャラクタの動作の低レベルスタイルは、非構造化モーションクリップのデータセットによって指定できる。 本システムでは,最先端のトラッキング技術に匹敵する高品質な動作を生成する。
  論文  参考訳（メタデータ） (2021-04-05T22:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。