論文の概要: Repurposing Video Diffusion Transformers for Cross-View Temporal Object Correspondence

• arxiv url: http://arxiv.org/abs/2610.37633v1
• Date: Tue, 27 Oct 2026 17:53:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.738083
• Title: Repurposing Video Diffusion Transformers for Cross-View Temporal Object Correspondence
• Title（参考訳）: クロスビュー時間物体対応のためのビデオ拡散変換器の再生
• Abstract要約: クロスビューオブジェクト対応は、ビュー間で同じオブジェクトを識別する。 両ビューにまたがってオブジェクトの同一性を保持する必要がある。
• 参考スコア（独自算出の注目度）: 38.57536483821294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-view object correspondence identifies the same object across views. However, existing methods often rely on frame-wise matching or sequential tracking, which can propagate correspondence errors under appearance changes or occlusions. Therefore, we introduce cross-view temporal object correspondence, which requires preserving object identity across both views and time from a query mask. To address this, we propose XTrack, a unified framework which repurposes a pretrained video DiT with semantic and spatiotemporal priors for RGB-to-mask latent transport, jointly modeling cross-view matching and temporal tracking. However, naive video DiTs do not guarantee accurate cross-view grounding and often attend to semantically similar yet incorrect objects across views. Thus, we introduce focal cross-view attention alignment, hard negative conditioning, and local context crop strategies to ensure reliable grounding. Finally, beyond these architectural enhancements, we also tackle the lack of dense annotation by introducing a pseudo-label curation pipeline that converts sparse Ego-Exo4D annotations into dense supervision to enable effective video-level training. Our results demonstrate the effectiveness of XTrack as a unified framework, ensuring robust temporal consistency and identity preservation.
• Abstract（参考訳）: クロスビューオブジェクト対応は、ビュー間で同じオブジェクトを識別する。 しかし、既存の手法はフレームワイズマッチングやシーケンシャルトラッキングに依存しており、外観の変化や閉塞の下での対応誤差を伝播することができる。 そこで我々は,問合せマスクから,ビューと時間の両方でオブジェクトの同一性を保持するクロスビュー・テンポラルオブジェクト対応を導入する。 そこで本稿では,RGB-to-maskラテントトランスポートのセマンティクスと時空間前処理を併用し,クロスビューマッチングと時間追跡を併用した,事前学習されたビデオDiTを再利用した統合フレームワークであるXTrackを提案する。 しかし、ナイーブなビデオDiTは正確なクロスビューグラウンドを保証せず、しばしばビューを横断する意味的に類似しているが間違ったオブジェクトに出席する。 そこで我々は,信頼性の高い接地を確保するために,焦点横断的アライメントアライメント,強負条件付け,および局所的文脈作物戦略を導入する。 最後に、これらのアーキテクチャ強化の他に、疎いEgo-Exo4Dアノテーションを高密度監視に変換して効果的なビデオレベルのトレーニングを可能にする擬似ラベルキュレーションパイプラインを導入することで、高密度アノテーションの欠如にも対処する。 本研究は, 統合フレームワークとしてのXTrackの有効性を実証し, 堅牢な時間的整合性, アイデンティティ保存の確保を図った。

関連論文リスト

• Rethinking Object-Centric Representations for Video Dynamics Modeling [17.157587526107598]
  教師なしのビデオオブジェクト追跡は、動的なシーンを手動のアノテーションなしで永続的なオブジェクト中心のエンティティに分解することを目的としている。 最近の多くのアプローチはスロットベースの表現に依存しており、固定された潜在変数のセット(スロット)はフレーム全体の個々のオブジェクトを表す。 STAITUSは,各スロットを外見と幾何学的ポーズ(ポジション/スケール)に明示的に切り離す統一的なフレームワークである。
  論文  参考訳（メタデータ） (2026-06-22T14:55:41Z)
• Spatial-Temporal Decoupled Reference Conditioning for Identity-Preserving Text-to-Video Generation [79.94088803584262]
  アイデンティティ保存ビデオ生成(IPVG)は、参照IDを保持しながらテキストプロンプトに従う高忠実度ビデオの合成を目的としている。 そこで我々は,ST-DRCを提案する。ST-DRCは,個人認証を保存したテキスト・ビデオ生成のための効果的な空間的疎結合参照条件作成フレームワークである。 LTX-2.3 上に構築した軽量な設計により,ST-DRC は強いアイデンティティ保存,迅速なアライメント,時間的整合性,映像品質を実現する。
  論文  参考訳（メタデータ） (2026-06-01T16:12:18Z)
• Learning Cross-View Object Correspondence via Cycle-Consistent Mask Prediction [47.01100029571904]
  本研究では,ビデオにおける視点の異なるオブジェクトレベルの視覚的対応を確立するタスクについて検討し,エゴセントリックからエゴセントリックへ,エゴセントリックからエゴセントリックへという挑戦的なシナリオに着目した。 条件付きバイナリセグメンテーションに基づいて,オブジェクトクエリマスクを潜在表現に符号化し,対象ビデオ中の対応するオブジェクトのローカライゼーションを誘導する,シンプルで効果的なフレームワークを提案する。 Ego-Exo4D と HANDAL-X のベンチマーク実験により,最適化目標とTTT 戦略の有効性を実証し,最先端性能を実現した。
  論文  参考訳（メタデータ） (2026-02-22T00:53:03Z)
• Find First, Track Next: Decoupling Identification and Propagation in Referring Video Object Segmentation [19.190651264839065]
  ビデオオブジェクトのセグメンテーションの参照は、自然言語プロンプトを使用して、ビデオ内の対象オブジェクトをセグメンテーションし、追跡することを目的としている。 本研究では、マスクの伝搬からターゲットの識別を分離する効率的な分離フレームワークであるFindTrackを紹介する。 FindTrackは、すべての既存のメソッドを公開ベンチマークで大幅に上回り、その優位性を示している。
  論文  参考訳（メタデータ） (2025-03-05T13:32:49Z)
• Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
  本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。 短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
  論文  参考訳（メタデータ） (2022-03-14T17:55:41Z)
• Learning to Track with Object Permanence [61.36492084090744]
  共同物体の検出と追跡のためのエンドツーエンドのトレーニング可能なアプローチを紹介します。 私たちのモデルは、合成データと実データで共同トレーニングされ、KITTIおよびMOT17データセットの最先端を上回ります。
  論文  参考訳（メタデータ） (2021-03-26T04:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。