論文の概要: DynaTokens: Teaching Dynamics to Camera-Controlled Video Models at Test Time
- arxiv url: http://arxiv.org/abs/2609.35704v1
- Date: Mon, 28 Sep 2026 17:42:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 19:33:12.24633
- Title: DynaTokens: Teaching Dynamics to Camera-Controlled Video Models at Test Time
- Title（参考訳）: DynaTokens: テスト時間にカメラ制御されたビデオモデルにダイナミクスを教える
- Abstract要約: 学習可能なシーン固有のトークンの軽量なセットであるDynaTokensを紹介します。
この手法は2つの運動源間の単純な非対称性によって動機付けられる。
DynaTokensは、VBench2とWorldScoreの評価において、より優れた同時ダイナミックスカメラトレードオフを実現する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video generation must account for two sources of motion, one induced by the observer's camera path and the other caused by scene dynamics. An ideal camera-controlled video model should account for both motions: let users move the camera while evolving the scene dynamics. While current models handle camera-induced motion well in static settings, they struggle for dynamic scenes: objects are static, move incorrectly, or degrade in generation quality. We introduce DynaTokens, a lightweight set of learnable scene-specific tokens that teach dynamics to an existing camera-controlled world model. Our method is motivated by a simple asymmetry between the two sources of motion: whereas camera motion affects the generated view globally, object dynamics are spatially localized. Through cross-attention, DynaTokens trains the learnable tokens from a few example trajectories for a scene while keeping the base model frozen, and enables dynamics under new query camera paths. DynaTokens achieves a better simultaneous dynamics-camera tradeoff on VBench2 and WorldScore evaluations than LoRA, block finetuning, and specialized trainable-layer baselines. Analyses of token attention, ablations, and motion temporality suggest that matching the trainable interface to the structure of the learning target is important for effective adaptation. Project website: https://glab-caltech.github.io/dynatokens/
- Abstract（参考訳）: 映像生成は、観察者のカメラパスによって誘発される2つの動き源と、シーンダイナミクスによって引き起こされる1つの動きを考慮しなければならない。
理想的なカメラ制御ビデオモデルは、どちらの動きも考慮する必要がある。
現在のモデルは、静的な設定でカメラが引き起こす動きをうまく処理するが、オブジェクトは静的で、不正確に動き、世代単位での劣化など、動的なシーンに苦慮している。
我々はDynaTokensを紹介した。DynaTokensは学習可能なシーン固有のトークンの軽量なセットで、既存のカメラ制御の世界モデルにダイナミックスを教える。
本手法は,2つの動き源間の単純な非対称性によって動機付けられ,カメラの動きが生成したビューに影響を及ぼすのに対して,オブジェクトのダイナミクスは空間的局所化される。
クロスアテンションを通じて、DynaTokensは、シーンのいくつかの例から学習可能なトークンをトレーニングし、ベースモデルを凍結し続けると同時に、新しいクエリカメラパス下での動的処理を可能にする。
DynaTokens は LoRA よりも VBench2 と WorldScore でのダイナミックスカメラのトレードオフが優れている。
トークンアテンション,アブレーション,動きの時間性の分析は,学習対象の構造とトレーニング可能なインターフェースを一致させることが,効果的な適応に重要であることを示唆している。
プロジェクトサイト:https://glab-caltech.github.io/dynatokens/
関連論文リスト
- ShadowDancer: Teaching Video World Models Any Action by Learning Unified Dynamics Representations from a Video and Its Shadow [24.623235518370695]
我々は、インタラクティブなビデオワールドモデルの任意のアクション、フレームレベル制御に対する新しいアプローチであるShadowDancerを提示する。
既存のインターフェイスはアクションを緩やかにエンコードし、モデルが即興的に展開する方法を残したり、構造化された信号を通じて正確にエンコードしたりする。
ShadowDancer氏はこれを,2つの重要なイノベーション – シャドウペア,独立して再サンプリングされた外観の下で同じダイナミクスを再生するビデオペア,シャドウ間の予測 – で対処する。
論文 参考訳（メタデータ） (2026-07-30T15:28:43Z) - SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation [11.470401259593944]
SymphoMotionは、単一のモデル内でカメラの軌跡とオブジェクトのダイナミクスを管理する統合モーションコントロールフレームワークである。
The SymphoMotion are shown that SymphoMotion are significantlyforms existing method in visual fidelity, camera controllability, and object-motion accuracy。
論文 参考訳（メタデータ） (2026-04-04T12:59:24Z) - DynaVid: Learning to Generate Highly Dynamic Videos using Synthetic Motion Data [51.316274891736164]
DynaVidは、トレーニングで合成モーションデータを活用するビデオ合成フレームワークである。
ダイナミックモーション生成とカメラモーション制御において,DynaVidはリアリズムと制御性を向上することを示す。
論文 参考訳（メタデータ） (2026-04-02T06:12:38Z) - Dexterous World Models [24.21588354488453]
Dexterous World Model (DWM) はシーンアクション条件付きビデオ拡散フレームワークである。
本稿では,DWMが時間的コヒーレントな映像を生成する方法を示す。
実験により、DWMは、つかむ、開く、動く物体など、現実的で物理的に妥当な相互作用を可能にすることが示されている。
論文 参考訳（メタデータ） (2025-12-19T18:59:51Z) - InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。
我々の重要な洞察は、大規模なビデオ生成モデルは、大規模ビデオデータからインタラクティブなダイナミクスを学習し、ニューラルと暗黙の物理シミュレーターの両方として機能できるということです。
論文 参考訳（メタデータ） (2024-12-16T13:57:02Z) - Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [79.4785166021062]
本稿では,対話型ビデオジェネレータPuppet-Masterを紹介した。
Puppet-Masterは、他のモーションコンディショニングビデオジェネレータとは異なり、パートレベルのモーションを生成することを学習している。
Puppet-Masterはドメイン外の実際のイメージを一般化し、実世界のベンチマークで既存のメソッドよりも優れています。
論文 参考訳（メタデータ） (2024-08-08T17:59:38Z) - Decoupling Dynamic Monocular Videos for Dynamic View Synthesis [50.93409250217699]
動的モノクロビデオからの動的ビュー合成の課題を教師なしで解決する。
具体的には、動的物体の運動を物体の動きとカメラの動きに分離し、教師なし表面の整合性およびパッチベースのマルチビュー制約によって規則化する。
論文 参考訳（メタデータ） (2023-04-04T11:25:44Z) - Stochastic Video Prediction with Structure and Motion [14.424465835834042]
本稿では,映像観察を静的・動的成分に分解する手法を提案する。
前景と背景の変化の分布を別々に学習することで、シーンを静的と動的に分解することができる。
我々の実験は、遠心構造と動きが映像の予測に役立ち、複雑な運転シナリオにおける将来の予測に繋がることを示した。
論文 参考訳（メタデータ） (2022-03-20T11:29:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。