論文の概要: Reimagine Video Dynamics
- arxiv url: http://arxiv.org/abs/2609.36496v1
- Date: Tue, 29 Sep 2026 01:51:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.108408
- Title: Reimagine Video Dynamics
- Title(参考訳): 映像のダイナミクスを再現する
- Abstract要約: Reimagine Video Dynamics (RVD) は、コンパクトで編集可能なダイナミックストークンを視覚的コンテキストから切り離すフレームワークである。
本研究では,言語指導型動的処理エディタを開発し,ソースの動的処理を対象の動的処理に変換する。
RVDは、効果的なビデオダイナミックス編集、トレーニング不要のリタイピング、外観制御された再レンダリングを可能にする。
- 参考スコア(独自算出の注目度): 29.612949091540585
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Most video editing methods focus on changing the appearance of the source video, while offering limited control over its dynamics. We introduce Reimagine Video Dynamics (RVD), a framework that disentangles a compact, editable dynamics token from visual context. We learn this token through self-supervised reconstruction: given the first frame as visual context, a renderer must recover the original video from the dynamics token, encouraging it to capture how the scene evolves rather than how it looks. This disentanglement allows video dynamics to be edited directly while preserving visual context. We develop a language-guided dynamics-token editor that transforms source dynamics into target dynamics, and train it with a scalable counterfactual video-pair pipeline and a two-stage training strategy. Extensive experiments show that RVD enables effective video dynamics editing, training-free retiming, and appearance-controlled re-rendering.
- Abstract(参考訳): ほとんどのビデオ編集方法は、ソースビデオの外観を変えることに集中し、そのダイナミクスを限定的に制御する。
本稿では,コンパクトで編集可能なダイナミックストークンを視覚的コンテキストから切り離すフレームワークであるReimagine Video Dynamics (RVD)を紹介する。
最初のフレームを視覚的コンテキストとして考えると、レンダラーはダイナミックストークンから元のビデオを復元し、シーンの見た目よりもシーンの進化を捉えるように促さなければなりません。
このアンタングル化により、ビデオのダイナミックスは、視覚的コンテキストを保持しながら直接編集できる。
本研究では,言語指導型動的処理エディタを開発し,動的処理を対象とする動的処理に変換し,スケーラブルな対実的ビデオペアパイプラインと2段階のトレーニング戦略でトレーニングする。
大規模な実験により、RVDは効果的なビデオダイナミックス編集、トレーニング不要のリタイピング、外観制御された再レンダリングを可能にしている。
関連論文リスト
- Self-Supervised Learning of Structured Dynamics from Videos [76.23834498074805]
予め訓練した画像ビジョン変換器の凍結した特徴から、構造化された動き表現を復元できるかどうかを検討する。
本研究では、時間変化の主源を残留力学から明確に分離する構造ダイナミクスモデル(SDM)を提案する。
ProbeMotionのSDMは、カメラモーション、オブジェクトモーション、複合ダイナミクスを備えた合成ビデオと実ビデオにまたがる新しい評価スイートである。
論文 参考訳(メタデータ) (2026-07-23T17:55:07Z) - Zero-Shot Dynamic Concept Personalization with Grid-Based LoRA [84.89284738178932]
テキスト・ビデオ・モデルにおける動的概念のパーソナライズのためのゼロショットフレームワークを提案する。
提案手法は,空間的に入力と出力のペアを整理する構造化2x2ビデオグリッドを利用する。
専用のグリッドフィルモジュールが部分的に観測されたレイアウトを完了し、時間的に一貫性とアイデンティティを保った出力を生成する。
論文 参考訳(メタデータ) (2025-07-23T22:09:38Z) - DynVFX: Augmenting Real Videos with Dynamic Content [26.022834306983906]
本稿では,動的コンテンツを新たに生成した実世界の映像を拡大する手法を提案する。
入力ビデオと、所望の内容を記述した簡単なテキスト命令が与えられた場合、本手法は動的オブジェクトや複雑なシーン効果を合成する。
新しいコンテンツの位置、外観、動きは、元の映像にシームレスに統合される。
論文 参考訳(メタデータ) (2025-02-05T21:14:55Z) - Hallo3: Highly Dynamic and Realistic Portrait Image Animation with Video Diffusion Transformer [25.39030226963548]
ポートレートアニメーションのための予め訓練されたトランスフォーマーに基づくビデオ生成モデルの最初の応用について紹介する。
提案手法は,ベンチマーク実験と新たに提案したワイルドデータセットを用いて検証する。
論文 参考訳(メタデータ) (2024-12-01T08:54:30Z) - CustomCrafter: Customized Video Generation with Preserving Motion and Concept Composition Abilities [56.5742116979914]
CustomCrafterは、追加のビデオやリカバリのための微調整なしで、モデルの動き生成と概念的な組み合わせ能力を保持する。
動作生成では,VDMが早期に映像の動きを回復する傾向が見られた。
復調の後期では、特定対象の外観詳細を修復するために、このモジュールを復元する。
論文 参考訳(メタデータ) (2024-08-23T17:26:06Z) - NeuralDiff: Segmenting 3D objects that move in egocentric videos [92.95176458079047]
観測された3次元シーンを静的な背景と動的前景に分解する問題について検討する。
このタスクは、古典的な背景の減算問題を連想させるが、静的でダイナミックなシーンの全ての部分が大きな動きを生じさせるため、非常に難しい。
特に、自我中心のビデオについて検討し、動的コンポーネントを観察・移動するオブジェクトとアクターにさらに分離する。
論文 参考訳(メタデータ) (2021-10-19T12:51:35Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳(メタデータ) (2020-12-22T18:46:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。