論文の概要: What Moves? Localized Motion Representations for Compositional Scene Control
- arxiv url: http://arxiv.org/abs/2609.04383v1
- Date: Thu, 03 Sep 2026 18:44:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.79621
- Title: What Moves? Localized Motion Representations for Compositional Scene Control
- Title（参考訳）: 移動とは何か : 構成シーン制御のための局所的な動き表現
- Abstract要約: ユーザが指定した領域に対して永続的な埋め込みを生成する。
入力やマスキングの機能をトリミングする代わりに、我々のモデルは、クエリされた領域で直接エンコーディングされる全映像と条件を処理します。
これにより、グローバルコンテキストを維持しながら局所的なダイナミクスを分離する、時間的に一貫した、地域順応可能な埋め込みが得られる。
- 参考スコア（独自算出の注目度）: 21.30183314834807
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world dynamics are inherently compositional: multiple entities move simultaneously within a shared scene, each exhibiting distinct motion patterns. Yet most existing video representations encode motion globally, without explicitly capturing localized motion for individual entities. Crucially, motion is defined relative to a global reference frame, including camera motion and scene layout. However, localized embeddings are often computed from cropped images or obtained by masking features after encoding, discarding the context needed to interpret motion. To address this, we introduce a promptable localized motion representation that produces persistent embeddings for user-specified regions defined by spatial masks. Rather than cropping the input or masking features, our model processes the full video and conditions motion encoding directly on the queried region. This yields temporally consistent, region-addressable embeddings that isolate local dynamics while retaining the global context required for disambiguation. We demonstrate object-level motion transfer, enabling controlled composition of dynamic scenes. Beyond generative control, our embeddings support localized action classification in multi-actor videos. Across both tasks, our approach improves controllability and outperforms global representations localized through cropping or post-hoc masking. Project Page: https://compvis.github.io/WhatMoves
- Abstract（参考訳）: 複数の実体が共有シーン内で同時に動き、それぞれ異なる動きパターンを示す。
しかし、既存のビデオ表現のほとんどは、個々のエンティティのローカライズされた動きを明示的にキャプチャすることなく、世界規模で動きを符号化している。
重要なことに、モーションは、カメラの動きやシーンレイアウトを含むグローバルな参照フレームに対して定義される。
しかし、ローカライズされた埋め込みは、しばしば収穫された画像から計算されるか、エンコーディング後にマスキング機能によって取得され、動きを解釈するのに必要なコンテキストを破棄する。
そこで本稿では,空間マスクによって定義されたユーザ指定領域に対して,永続的な埋め込みを生成する,高速な局所化動作表現を提案する。
入力やマスキングの機能をトリミングする代わりに、我々のモデルは、クエリされた領域で直接エンコーディングされる全映像と条件を処理します。
これは時間的に一貫した地域適応可能な埋め込みをもたらし、局所力学を分離し、曖昧化に必要なグローバルコンテキストを保持する。
動的シーンの制御された合成を可能にするオブジェクトレベルのモーショントランスファーを実演する。
ジェネレーティブコントロール以外にも,マルチアクタービデオの局所化動作分類もサポートしています。
両課題にまたがって制御性が向上し、収穫やポストホックマスキングによって局所化されたグローバル表現よりも優れる。
Project Page: https://compvis.github.io/WhatMoves
関連論文リスト
- Training-free Motion Factorization for Compositional Video Generation [57.819757612370374]
複雑な動きを3つの主要カテゴリに分解する運動因子化フレームワークを提案する。
本フレームワークは,実世界のベンチマークにおいて,動作合成における印象的な性能を実現する。
論文 参考訳（メタデータ） (2026-03-10T02:27:48Z) - ATI: Any Trajectory Instruction for Controllable Video Generation [25.249489701215467]
本稿では、カメラの動き、オブジェクトレベルの翻訳、きめ細かい局所的な動きをシームレスに統合する、動画生成におけるモーション制御のための統一的なフレームワークを提案する。
提案手法は,事前学習した画像-映像生成モデルの潜在空間にユーザ定義トラジェクトリを投影することにより,凝集性のある解を提供する。
論文 参考訳（メタデータ） (2025-05-28T23:49:18Z) - FantasyTalking: Realistic Talking Portrait Generation via Coherent Motion Synthesis [12.987186425491242]
本研究では,高忠実でコヒーレントな音声画像と制御可能なモーションダイナミックスを生成するための新しい枠組みを提案する。
最初の段階では、コヒーレントなグローバルな動きを確立するためにクリップレベルのトレーニングスキームを採用している。
第2段階では、リップトレーシングマスクを用いて、フレームレベルでの唇の動きを洗練し、音声信号との正確な同期を確保する。
論文 参考訳（メタデータ） (2025-04-07T08:56:01Z) - SMF: Template-free and Rig-free Animation Transfer using Kinetic Codes [32.324844649352166]
アニメーション再ターゲッティングはキャラクタメッシュにスパース動作記述を適用し、意味論的に妥当で時間的に整合したフルボディシーケンスを生成する。
本稿では,スパース動作表現のみを訓練した自己教師型運動場(SMF)を提案する。
我々のアーキテクチャは、エンドツーエンドで共同で訓練された専用空間勾配予測器と時間勾配予測器から構成される。
論文 参考訳（メタデータ） (2025-04-07T08:42:52Z) - Segment Any Motion in Videos [80.72424676419755]
本研究では,長距離軌道運動キューとDINOに基づく意味的特徴を組み合わせた移動物体セグメンテーションを提案する。
本モデルでは,動作を優先し,セマンティックサポートを統合しつつ,時空間軌道注意と動き・セマンティック・デカップリング・エンベディングを用いた。
論文 参考訳（メタデータ） (2025-03-28T09:34:11Z) - Instance-Level Moving Object Segmentation from a Single Image with Events [84.12761042512452]
移動対象セグメンテーションは、複数の移動対象を含む動的なシーンを理解する上で重要な役割を果たす。
従来の手法では、物体の画素変位がカメラの動きや物体の動きによって引き起こされるかどうかを区別することが困難であった。
近年の進歩は、従来の画像の不適切な動作モデリング機能に対抗するために、新しいイベントカメラの動作感度を利用する。
補完的なテクスチャとモーションキューを統合した,最初のインスタンスレベルの移動オブジェクトセグメンテーションフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-18T15:56:46Z) - Motion Prompting: Controlling Video Generation with Motion Trajectories [57.049252242807874]
スパースもしくは高密度なビデオ軌跡を条件とした映像生成モデルを訓練する。
ハイレベルなユーザリクエストを,詳細なセミセンスな動作プロンプトに変換する。
我々は、カメラや物体の動き制御、画像との「相互作用」、動画転送、画像編集など、様々な応用を通してアプローチを実証する。
論文 参考訳（メタデータ） (2024-12-03T18:59:56Z) - Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [79.4785166021062]
本稿では,対話型ビデオジェネレータPuppet-Masterを紹介した。
Puppet-Masterは、他のモーションコンディショニングビデオジェネレータとは異なり、パートレベルのモーションを生成することを学習している。
Puppet-Masterはドメイン外の実際のイメージを一般化し、実世界のベンチマークで既存のメソッドよりも優れています。
論文 参考訳（メタデータ） (2024-08-08T17:59:38Z) - Reenact Anything: Semantic Video Motion Transfer Using Motion-Textual Inversion [9.134743677331517]
本研究では、動きから外見を遠ざけるために、事前訓練された画像間映像モデルを提案する。
動作テキストインバージョン(Motion-textual Inversion)と呼ばれるこの手法は、画像から映像へのモデルが、主に(相対的な)画像入力から外観を抽出する、という観察を生かしている。
フレームごとの複数のテキスト/画像埋め込みトークンを含むインフレーションされたモーションテキスト埋め込みを操作することにより、高時間運動粒度を実現する。
動作参照ビデオと対象画像の空間的アライメントを必要とせず,様々な領域にまたがって一般化し,フルボディや顔再現といった様々なタスクに適用することができる。
論文 参考訳（メタデータ） (2024-08-01T10:55:20Z) - Local Action-Guided Motion Diffusion Model for Text-to-Motion Generation [52.87672306545577]
既存の動き生成法は主に大域運動の直接合成に焦点を当てている。
本研究では,局所動作を微粒化制御信号として利用することにより,グローバルな動き生成を容易にする局所動作誘導型動き拡散モデルを提案する。
本手法は,様々な局所動作と連続誘導重み調整をシームレスに組み合わせる柔軟性を提供する。
論文 参考訳（メタデータ） (2024-07-15T08:35:00Z) - Motion Representations for Articulated Animation [34.54825980226596]
異なる部分からなる関節オブジェクトをアニメーション化するための新しいモーション表現を提案する。
完全に教師なしの方法で、本手法は対象部品を識別し、駆動ビデオで追跡し、主軸を考慮して動きを推定する。
我々のモデルは様々なオブジェクトをアニメートすることができ、既存のベンチマークでは従来のメソッドを大きく上回っています。
論文 参考訳（メタデータ） (2021-04-22T18:53:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。