論文の概要: Go-with-the-Track: Video Compositing and Motion Control with Point Tracking

• arxiv url: http://arxiv.org/abs/2606.20891v1
• Date: Thu, 18 Jun 2026 19:40:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 12:14:04.96745
• Title: Go-with-the-Track: Video Compositing and Motion Control with Point Tracking
• Title（参考訳）: Go-with-the-Track:ポイントトラッキングによる映像合成とモーションコントロール
• Authors: Koichi Namekata, Yash Kant, Zhizheng Liu, Ryan D Burgert, Yuancheng Xu, Kuan Heng Lin, Emmett Steven, Julien Philip, Li Ma, Andrea Vedaldi, Paul Debevec, Ning Yu,
• Abstract要約: フィルム製造は正確な動き制御と参照画像合成を要求する。 複数の参照画像と参照アンコレートされたポイントトラックを共同で条件付けすることで、両方の機能を統一するGo-with-the-Trackを提案する。 Go-with-the-Trackは単一のモデルで優れた動きと参照制御を実現する。
• 参考スコア（独自算出の注目度）: 50.22693773328114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Filmmaking demands precise motion control and reference image compositing -- capabilities that existing methods treat separately. Point-track-conditioned image-to-video models restrict content insertion to the first frame, while reference-to-video models lack fine-grained spatial-temporal control over how reference content integrates across frames. We present Go-with-the-Track, which unifies both capabilities by jointly conditioning on multiple reference images and reference-anchored point-tracks -- extending conventional point-tracks to explicitly establish correspondences between generated frames and reference images, thus enabling precise compositing and motion control throughout the video. To achieve this, we introduce spatially-aware point-track embeddings that encode the full sequence of point-track coordinates using a coordinate-wise MLP followed by temporal pooling. This representation captures the spatial characteristics of each point-track (serving as a unique identifier), while the embedding similarity correlates directly with spatial proximity, enhancing the model's ability to distinguish and associate point-tracks. We inject these point-track embeddings into a video diffusion transformer via a lightweight adapter, resolving the pixel-to-patch resolution mismatch while avoiding the substantial motion detail loss inherent in naive point-track subsampling. We use a hybrid training strategy to train jointly on dynamic, static, and synthetic scene video datasets to boost motion controllability. Experiments demonstrate that Go-with-the-Track achieves superior motion and reference control in a single model and enables new capabilities: multi-reference conditioned video generation with point-track driven compositing, as well as camera control for both static and dynamic scenes. Project Page: https://eyeline-labs.github.io/Go-with-the-Track/
• Abstract（参考訳）: 映画製作は、既存の方法が別々に扱う機能である、正確なモーションコントロールと参照画像合成を要求する。 ポイントトラック条件付きイメージ・トゥ・ビデオモデルは、第1フレームへのコンテンツ挿入を制限する一方、参照・トゥ・ビデオモデルは、参照コンテンツがフレーム間でどのように統合されるかに関して、きめ細かい空間時間制御を欠いている。 複数の参照画像と参照アンコレートされたポイントトラックを共同で条件付けすることで、両方の機能を統一するGo-with-the-Trackを提案し、従来のポイントトラックを拡張して、生成されたフレームと参照画像との対応を明確にし、ビデオ全体を通して正確な合成とモーションコントロールを可能にする。 これを実現するために,座標ワイド MLP と時間プーリングを用いた全点トラック座標列を符号化した空間認識型点トラック埋め込みを導入する。 この表現は各点トラックの空間的特性(ユニークな識別子として保存される)を捉え、埋め込み類似性は空間的近接と直接相関し、点トラックの識別と関連付け能力を高める。 我々は、これらの点線埋め込みを、軽量なアダプタを介してビデオ拡散変換器に注入し、画素対パッチの分解ミスマッチを解消し、自然な点線サブサンプリングに固有の相当な運動詳細損失を回避した。 我々は、動的、静的、および合成シーンビデオデータセットで共同でトレーニングし、モーションコントロール可能性を高めるためにハイブリッドトレーニング戦略を使用する。 実験により、Go-with-the-Trackは単一のモデルで優れたモーション制御と参照制御を実現し、ポイントトラック駆動合成によるマルチ参照条件付きビデオ生成と、静的シーンと動的シーンの両方のカメラ制御が可能な新しい機能を実現する。 Project Page: https://eyeline-labs.github.io/Go-with-the-Track/

関連論文リスト

• TriMotion: Modality-Agnostic Camera Control for Video Generation [65.5913929253637]
  TriMotionは、カメラ制御ビデオ生成のためのフレームワークで、ビデオ、ポーズ、テキスト入力をマッピングし、同じカメラ軌跡を共有モーション埋め込み空間に記述する。 また,TriMotionは3つのモダリティ全てを対象とするカメラ軌跡を正確に追従する高品質なビデオを生成する。
  論文  参考訳（メタデータ） (2026-06-18T16:07:05Z)
• Motion-Aware Concept Alignment for Consistent Video Editing [57.08108545219043]
  MoCA-Video (Motion-Aware Concept Alignment in Video) は、画像ドメインのセマンティックミキシングとビデオのギャップを埋めるトレーニング不要のフレームワークである。 生成されたビデオとユーザが提供した参照画像が与えられた後、MoCA-Videoは参照画像のセマンティックな特徴をビデオ内の特定のオブジェクトに注入する。 我々は、標準SSIM、画像レベルLPIPS、時間LPIPSを用いてMoCAの性能を評価し、新しいメトリクスCASS(Conceptual Alignment Shift Score)を導入し、ソースプロンプトと修正ビデオフレーム間の視覚的シフトの一貫性と有効性を評価する。
  論文  参考訳（メタデータ） (2025-06-01T13:28:04Z)
• ATI: Any Trajectory Instruction for Controllable Video Generation [25.249489701215467]
  本稿では、カメラの動き、オブジェクトレベルの翻訳、きめ細かい局所的な動きをシームレスに統合する、動画生成におけるモーション制御のための統一的なフレームワークを提案する。 提案手法は,事前学習した画像-映像生成モデルの潜在空間にユーザ定義トラジェクトリを投影することにより,凝集性のある解を提供する。
  論文  参考訳（メタデータ） (2025-05-28T23:49:18Z)
• Tracktention: Leveraging Point Tracking to Attend Videos Faster and Better [61.381599921020175]
  時間的一貫性は、出力が一貫性があり、アーティファクトがないことを保証するために、ビデオ予測において重要である。 時間的注意や3D畳み込みといった伝統的な手法は、重要な物体の動きに苦しむことがある。 本稿では,ポイントトラックを用いた動き情報を明示的に統合する新しいアーキテクチャコンポーネントであるトラックキート・レイヤを提案する。
  論文  参考訳（メタデータ） (2025-03-25T17:58:48Z)
• DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild [85.03973683867797]
  本稿では,スムーズなカメラ軌跡を推定し,野生のカジュアルビデオのための高密度点雲を得るための,簡潔でエレガントでロバストなパイプラインを提案する。 提案手法は,複雑な動的課題シーンにおいても,カメラポーズ推定による最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-20T13:01:16Z)
• Hybrid Tracker with Pixel and Instance for Video Panoptic Segmentation [50.62685357414904]
  ビデオパノプティカル係数(VPS)は、コヒーレントなパノプティカルセグメンテーションを生成し、ビデオフレーム全体の全ピクセルのアイデンティティを追跡することを目的としている。 単一トラッカーの限界を取り除くために,軽量かつ共同的な追跡モデルであるHybridTrackerを提案する。 総合的な実験により、HybridTrackerはCityscapes-VPSとVIPERデータセットの最先端メソッドよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-03-02T16:21:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。