論文の概要: TrajLoc: Trajectory-Attention Localization for Multi-Object Motion Control
- arxiv url: http://arxiv.org/abs/2607.00861v1
- Date: Wed, 01 Jul 2026 12:25:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.889078
- Title: TrajLoc: Trajectory-Attention Localization for Multi-Object Motion Control
- Title(参考訳): TrajLoc:多目的運動制御のための軌道位置定位
- Abstract要約: TrajLocは、イメージ・トゥ・ビデオ(I2V)生成における複数のオブジェクトの動きを制御する新しい方法である。
オブジェクトごとの厳密な空間制約を適用し、インスタンスを独立して分離する。
提案手法は,+4.3 dB PSNRの平均ゲインと軌道終点誤差の51%削減を実現する。
- 参考スコア(独自算出の注目度): 12.842105475350152
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Controlling the motion of multiple objects in image-to-video (I2V) generation requires preserving object identities while enforcing adherence to distinct target trajectories. This becomes particularly challenging as the number of objects increases and their paths intersect or occlude one another. Existing approaches entangle multiple trajectories within a shared, dense conditioning signal, making object-level correspondence difficult to preserve in crowded scenes. We depart from this paradigm and enforce a strict, per object spatial constraint that isolates instances independently. Our method, TrajLoc, achieves this directly within the attention layers by substituting the cross-attention weights of each object token with a Gaussian heatmap centered on its target location at every frame. The same per object token interface carries trajectory and depth through a learned embedding and preserves identity by encoding first frame appearance in place of an object token. Evaluations across six datasets, featuring up to 20 simultaneously controlled objects and out of distribution real world scenes, demonstrate that our method consistently improves both visual fidelity and trajectory adherence. Applied to two architecturally distinct backbones (CogVideoX 5B and WaN 2.1 14B), our approach achieves average gains of +4.3 dB PSNR and a 51% reduction in trajectory end point error compared to the strongest baselines. Project page: https://sela-omer.github.io/traj-loc/
- Abstract(参考訳): イメージ・トゥ・ビデオ(I2V)生成における複数のオブジェクトの動作を制御するには、対象の同一性を保持しながら、異なる対象の軌跡への付着を強制する必要がある。
オブジェクトの数が増加し、それらのパスが相互に交わり、あるいは遮られるようになると、これは特に困難になる。
既存のアプローチは、共有された密接な条件付け信号内に複数の軌道を絡み合わせることで、混雑したシーンでオブジェクトレベルの対応を維持するのが困難になる。
私たちはこのパラダイムから離れ、インスタンスを独立して分離するオブジェクト単位の空間的制約を厳格に実施します。
提案手法であるTrajLocは,各オブジェクトトークンのクロスアテンション重みを,各フレームにおけるターゲット位置を中心にしたガウス熱マップに置き換えることで,注意層内で直接これを実現できる。
同じオブジェクトトークンインターフェースは、学習された埋め込みを通じて軌跡と深さを運び、オブジェクトトークンの代わりに最初のフレームの外観を符号化することでアイデンティティを保存する。
6つのデータセットに対して,最大20個のオブジェクトを同時に制御し,実世界のシーンを分配する評価を行い,その手法が視覚的忠実度と軌跡の定着性の両方を一貫して改善することを示した。
アーキテクチャ的に異なる2つのバックボーン(CogVideoX 5B と WaN 2.1 14B)に対して,本手法は,最強ベースラインと比較して,+4.3 dB PSNRと51%の軌道終点誤差を減少させる。
プロジェクトページ: https://sela-omer.github.io/traj-loc/
関連論文リスト
- Finding Distributed Object-Centric Properties in Self-Supervised Transformers [59.00547715011873]
自己監督型視覚変換器(ViT)は、最終層のトークンアテンションマップでよく見られる、オブジェクトを発見できる創発的な能力を示す。
これは、[]トークンがイメージレベルの目的に基づいてトレーニングされ、オブジェクトにフォーカスするのではなく、全体像を要約しているためです。
我々は、この分散オブジェクト中心情報を抽出するトレーニング不要なObject-DINOを提案する。
論文 参考訳(メタデータ) (2026-03-27T07:22:04Z) - COVTrack++: Learning Open-Vocabulary Multi-Object Tracking from Continuous Videos via a Synergistic Paradigm [59.26203051651017]
C-TAOはOpen-Vocabulary Multi-Object Tracking (OVMOT)のための最初の連続アノテーション付きトレーニングセットである
フレームワークボトルネックに対するCOVTrack++は,3つのモジュールによる検出とアソシエーションの双方向相互機構を実現するための相乗的フレームワークである。
TAOの実験では、新しいTAAは検証とテストセットで35.4%、30.5%に達し、新しいAssocAは4.8%、新しいLocAは5.8%向上した。
論文 参考訳(メタデータ) (2026-03-25T07:20:27Z) - Articulated 3D Scene Graphs for Open-World Mobile Manipulation [55.97942733699124]
本報告では, セマンティックな3次元シーングラフを構築するためのフレームワークであるMoMa-SGについて述べる。
新たな統合的ツイスト推定法を用いて調音モデルを推定する。
また,Arti4D-Semanticデータセットについても紹介する。
論文 参考訳(メタデータ) (2026-02-18T10:40:35Z) - Spatio-temporal Graph Learning on Adaptive Mined Key Frames for High-performance Multi-Object Tracking [5.746443489229576]
キーフレーム抽出(KFE)モジュールは、強化学習を利用して動画を適応的にセグメントする。
フレーム内フィーチャーフュージョン(IFF)モジュールは、ターゲットと周辺オブジェクト間の情報交換を容易にするために、グラフ畳み込みネットワーク(GCN)を使用する。
提案したトラッカーはMOT17データセット上で印象的な結果が得られる。
論文 参考訳(メタデータ) (2025-01-17T11:36:38Z) - Object-Centric Multiple Object Tracking [124.30650395969126]
本稿では,多目的追跡パイプラインのためのビデオオブジェクト中心モデルを提案する。
オブジェクト中心のスロットを検出出力に適応するインデックスマージモジュールと、オブジェクトメモリモジュールで構成される。
オブジェクト中心学習に特化して、オブジェクトのローカライゼーションと機能バインディングのためのスパース検出ラベルしか必要としない。
論文 参考訳(メタデータ) (2023-09-01T03:34:12Z) - SparseTrack: Multi-Object Tracking by Performing Scene Decomposition
based on Pseudo-Depth [84.64121608109087]
2次元画像から目標の相対的な深さを求めるための擬似深度推定法を提案する。
次に,得られた深度情報を用いて,高密度なターゲットセットを複数のスパースなターゲットサブセットに変換するディープカスケードマッチング(DCM)アルゴリズムを設計する。
擬似深度法とDCM戦略をデータアソシエーションプロセスに統合することにより、SparseTrackと呼ばれる新しいトラッカーを提案する。
論文 参考訳(メタデータ) (2023-06-08T14:36:10Z) - OGC: Unsupervised 3D Object Segmentation from Rigid Dynamics of Point
Clouds [4.709764624933227]
OGCと呼ばれる最初の教師なしの手法を提案し、同時に複数の3Dオブジェクトを1つの前方通過で識別する。
提案手法を5つのデータセット上で広範囲に評価し,オブジェクト部分のインスタンスセグメンテーションにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2022-10-10T07:01:08Z) - Learning to Track with Object Permanence [61.36492084090744]
共同物体の検出と追跡のためのエンドツーエンドのトレーニング可能なアプローチを紹介します。
私たちのモデルは、合成データと実データで共同トレーニングされ、KITTIおよびMOT17データセットの最先端を上回ります。
論文 参考訳(メタデータ) (2021-03-26T04:43:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。