論文の概要: Distilling Dense Trajectory Teachers For Large-Motion Video World Models
- arxiv url: http://arxiv.org/abs/2610.33566v1
- Date: Sat, 24 Oct 2026 09:35:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.363174
- Title: Distilling Dense Trajectory Teachers For Large-Motion Video World Models
- Title(参考訳): 大容量ビデオワールドモデルのためのDense Trajectoryの教師
- Abstract要約: 既存のモデルは、フレーム間カメラの動きが小さい密集したビデオで主に訓練されている。
本研究では,高密度軌跡から大型カメラ運動へのモデル生成能力を伝達するDense Trajectory Teacher Distillationを提案する。
このように、モデルは独自の世代教師として機能し、追加のビデオデータやより強力な外部ビデオ生成装置を必要としない。
- 参考スコア(独自算出の注目度): 14.624643873702
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video world models are expected to generate videos that accurately follow specified camera trajectories while maintaining consistent 3D structures. However, existing models are predominantly trained on densely sampled videos with small inter-frame camera motions. When applied to sparse, large step trajectories, they often produce frozen frames, inaccurate camera motion, and severe geometric drift. We attribute this degradation to a mismatch between the gradual viewpoint transitions seen during training and the large viewpoint changes required at inference time. To address this problem, we propose Dense Trajectory Teacher Distillation (DTTD), a post-training framework that transfers a model's generation capability from dense trajectories to large camera motions. Given a sparse trajectory, DTTD interpolates additional camera poses to construct a dense trajectory covering the same path. The frozen base model then generates reliable teacher videos along this familiar dense trajectory, and pose aligned teacher observations are used to evaluate candidate videos generated under the original sparse trajectory. In this way, the model serves as its own generation teacher, requiring neither additional video data nor a stronger external video generator. We further combine dense teacher supervision with geometry aware rewards that assess cross frame consistency and camera trajectory following, and use the resulting preferences for offline preference optimization. To stably expand the model's motion range, we introduce a cumulative curriculum that progressively incorporates larger motion steps while retaining simpler trajectories to reduce capability forgetting.
- Abstract(参考訳): ビデオワールドモデルは、一貫した3D構造を維持しながら、特定のカメラ軌跡を正確に追従するビデオを生成することが期待されている。
しかし、既存のモデルは、フレーム間カメラの動きが小さい密集したビデオで主に訓練されている。
スパースで大きなステップ軌道に適用すると、しばしば凍結したフレーム、不正確なカメラの動き、厳密な幾何学的ドリフトが生成される。
この劣化は、トレーニング中に見られる段階的な視点遷移と、推論時に必要とされる大きな視点変化のミスマッチによるものと考えられる。
そこで本研究では,高密度軌跡から大規模カメラモーションへのモデル生成能力を伝達する後学習フレームワークであるDense Trajectory Teacher Distillation (DTTD)を提案する。
スパース軌跡が与えられた場合、DTTDは、同じ経路をカバーする密度の高い軌跡を構築するために追加のカメラのポーズを補間する。
凍結したベースモデルは、この親密な軌跡に沿って信頼性の高い教師ビデオを生成し、元のスパース軌跡の下で生成された候補映像を評価するために、教師の観察に一致したポーズをとる。
このように、モデルは独自の世代教師として機能し、追加のビデオデータやより強力な外部ビデオ生成装置を必要としない。
さらに、教師の教師監督と、クロスフレームの整合性とカメラ軌跡の追従性を評価する幾何認識報酬を組み合わせ、オフライン優先最適化に結果の選好を利用する。
モデルの動き範囲を安定的に拡大するために,より単純な軌道を保ちながらより大きな運動ステップを段階的に組み込んだ累積カリキュラムを導入する。
関連論文リスト
- WorldForge V2: Eliciting Camera-Trajectory Alignment in Video Diffusion Models [53.2667526966898]
ビデオ拡散モデルはリッチな3D/4Dプリエントを学習し、シーン生成とビデオ再レンダリングを約束している。
タスク固有の微調整や後処理のワープといった既存のアプローチでは、視覚的なアーティファクトを導入したり、一般化が不十分だったり、計算コストが高かったりすることが多い。
我々は,事前学習ビデオモデルの生成能力を保ちながら,正確なカメラ制御を実現するためにWorldForge V2を提案する。
論文 参考訳(メタデータ) (2026-10-22T17:53:03Z) - Learning to Correct Geometry in Generated Videos [52.88077815116697]
ウェブスケールのビデオコーパスでは、最も目に見える動きは静的または弱い動きのカメラで捉えたダイナミックな物体から来ている。
本稿では,合成対監督に基づく映像合成モデルであるVGC(Video Geometry Corrector)を提案する。
ポーズ条件付きおよびプロンプト駆動ベンチマークの実験は、VGCが複数のソースジェネレータ間の幾何的一貫性を改善することを示している。
論文 参考訳(メタデータ) (2026-10-16T17:59:55Z) - PartiCam: Camera Controlled Video Generation with Reward Guidance [60.77484725687859]
PartiCamは、カメラ制御ビデオ生成を改善するためのトレーニング不要なパーティクルフィルタリングルート方式である。
本手法は,Sequential Monte-Carloガイダンスに基づいて構築されるが,粒子フィルタ再サンプリングに基づく局所的な改良段階を導入する。
実験では、モデル再訓練を必要とせず、カメラの軌道付着性、ドリフトの低減、視覚的品質の向上が見られた。
論文 参考訳(メタデータ) (2026-09-30T11:05:58Z) - GeoStream: Toward Precise Camera Controlled Streaming Video Generation [85.01823220801256]
既存のアプローチはカメラの動きを暗黙的に学習し、アウト・オブ・ディストリビューション・トラジェクトリの下で不正確な制御をもたらす。
厳密な幾何学的条件付けにより制御性が向上するが、既存の手法は非自己回帰的である。
自動回帰ストリーミングビデオ生成における高精度なメカニカルカメラ制御を実現するフレームワークであるGeoStreamを提案する。
論文 参考訳(メタデータ) (2026-06-13T07:18:04Z) - Geo-Align: Video Generation Alignment via Metric Geometry Reward [53.65904111864641]
Geo-Alignは、カメラ制御ビデオ再レンダリング用に特別に設計された最初の強化学習フレームワークである。
事前訓練されたモデルに基づいて、スケールアウェアの知覚報酬機構を用いてモデルを最適化する。
実験により、Geo-Alignは、カメラの正確な制御性と視覚的忠実性の両方において、既存の教師付き学習ベースラインを一貫して上回っていることが示された。
論文 参考訳(メタデータ) (2026-05-22T17:59:43Z) - Infinite-Homography as Robust Conditioning for Camera-Controlled Video Generation [49.12018869332346]
InfCamは、高ポーズ忠実度でカメラ制御されたビデオ・ビデオ生成フレームワークである。
1)ビデオ拡散モデルの2次元潜在空間内で直接3次元カメラ回転を符号化する。
論文 参考訳(メタデータ) (2025-12-18T20:03:05Z) - Vid-CamEdit: Video Camera Trajectory Editing with Generative Rendering from Estimated Geometry [41.904066758259624]
ビデオカメラトラジェクトリ編集のための新しいフレームワークであるVid-CamEditを紹介する。
我々のアプローチは、時間的に一貫した幾何を推定する2つのステップと、この幾何学によって導かれる生成的レンダリングからなる。
論文 参考訳(メタデータ) (2025-06-16T17:02:47Z) - PoseTraj: Pose-Aware Trajectory Control in Video Diffusion [17.0187150041712]
本稿では,2次元軌跡から3次元アライメントを生成できるポーズ対応ビデオドラギングモデルPoseTrajを紹介する。
提案手法は,新しい2段階のポーズアウェア事前学習フレームワークを採用し,多様な軌跡の3次元理解を改善した。
論文 参考訳(メタデータ) (2025-03-20T12:01:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。