論文の概要: Tracktention: Leveraging Point Tracking to Attend Videos Faster and Better

• arxiv url: http://arxiv.org/abs/2503.19904v1
• Date: Tue, 25 Mar 2025 17:58:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:51:07.680328
• Title: Tracktention: Leveraging Point Tracking to Attend Videos Faster and Better
• Title（参考訳）: トラッキング: 動画のアタッチメントにポイントトラッキングを活用
• Authors: Zihang Lai, Andrea Vedaldi,
• Abstract要約: 時間的一貫性は、出力が一貫性があり、アーティファクトがないことを保証するために、ビデオ予測において重要である。 時間的注意や3D畳み込みといった伝統的な手法は、重要な物体の動きに苦しむことがある。 本稿では,ポイントトラックを用いた動き情報を明示的に統合する新しいアーキテクチャコンポーネントであるトラックキート・レイヤを提案する。
• 参考スコア（独自算出の注目度）: 61.381599921020175
• License:
• Abstract: Temporal consistency is critical in video prediction to ensure that outputs are coherent and free of artifacts. Traditional methods, such as temporal attention and 3D convolution, may struggle with significant object motion and may not capture long-range temporal dependencies in dynamic scenes. To address this gap, we propose the Tracktention Layer, a novel architectural component that explicitly integrates motion information using point tracks, i.e., sequences of corresponding points across frames. By incorporating these motion cues, the Tracktention Layer enhances temporal alignment and effectively handles complex object motions, maintaining consistent feature representations over time. Our approach is computationally efficient and can be seamlessly integrated into existing models, such as Vision Transformers, with minimal modification. It can be used to upgrade image-only models to state-of-the-art video ones, sometimes outperforming models natively designed for video prediction. We demonstrate this on video depth prediction and video colorization, where models augmented with the Tracktention Layer exhibit significantly improved temporal consistency compared to baselines.
• Abstract（参考訳）: 時間的一貫性は、出力が一貫性があり、アーティファクトがないことを保証するために、ビデオ予測において重要である。 時間的注意や3D畳み込みのような伝統的な手法は、重要な物体の動きに苦しむ可能性があり、ダイナミックなシーンにおける長距離の時間的依存を捉えない場合がある。 このギャップに対処するために,フレーム間の対応点のシーケンスをポイントトラックを用いて明示的に統合する,新しいアーキテクチャコンポーネントであるTracktention Layerを提案する。 これらの動きの手がかりを組み込むことで、追跡層は時間的アライメントを強化し、複雑なオブジェクトの動きを効果的に処理し、時間とともに一貫した特徴表現を維持する。 我々のアプローチは計算効率が良く、Vision Transformersのような既存のモデルに最小限の修正でシームレスに統合できる。 画像のみのモデルを最先端のビデオモデルにアップグレードすることも可能で、時にはビデオ予測用にネイティブに設計されたモデルよりも優れている。 ビデオ深度予測とビデオカラー化では,追跡層で拡張したモデルでは,ベースラインに比べて時間的一貫性が著しく向上した。

関連論文リスト

• Understanding Long Videos via LLM-Powered Entity Relation Graphs [51.13422967711056]
  GraphVideoAgentは、ビデオシーケンスを通して視覚的エンティティ間の進化する関係をマップし、監視するフレームワークである。 当社の手法は,業界ベンチマークと比較した場合,顕著な効果を示す。
  論文  参考訳（メタデータ） (2025-01-27T10:57:24Z)
• Training-Free Motion-Guided Video Generation with Enhanced Temporal Consistency Using Motion Consistency Loss [35.69606926024434]
  本稿では,初期雑音に基づくアプローチと新たな動きの整合性損失を組み合わせた,シンプルで効果的な解を提案する。 次に、生成したビデオに類似した特徴相関パターンを維持するために、動きの整合性損失を設計する。 このアプローチは、トレーニング不要のセットアップの利点を保ちながら、さまざまなモーションコントロールタスク間の時間的一貫性を改善する。
  論文  参考訳（メタデータ） (2025-01-13T18:53:08Z)
• Trajectory Attention for Fine-grained Video Motion Control [20.998809534747767]
  本稿では,細粒度カメラモーション制御のための画素トラジェクトリに沿って注目を行う新しい手法であるトラジェクトリ・アテンションを紹介する。 また,本手法は,第1フレーム誘導映像編集など,他の動画モーションコントロールタスクにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-28T18:59:51Z)
• TrackDiffusion: Tracklet-Conditioned Video Generation via Diffusion Models [75.20168902300166]
  微粒な軌跡条件の運動制御が可能な新しい映像生成フレームワークであるTrackDiffusionを提案する。 TrackDiffusionの重要なコンポーネントは、複数のオブジェクトのフレーム間の一貫性を明確に保証するインスタンスエンハンサーである。 TrackDiffusionによって生成されたビデオシーケンスは、視覚知覚モデルのトレーニングデータとして使用できる。
  論文  参考訳（メタデータ） (2023-12-01T15:24:38Z)
• You Can Ground Earlier than See: An Effective and Efficient Pipeline for Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
  ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。 それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。 本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
  論文  参考訳（メタデータ） (2023-03-14T12:53:27Z)
• ProContEXT: Exploring Progressive Context Transformer for Tracking [20.35886416084831]
  既存のVisual Object Tracking (VOT)は、テンプレートとして第1フレームのターゲット領域のみを取る。 これにより、フレーム間のオブジェクトの外観の変化を考慮できないため、素早く変化し、混雑するシーンでトラッキングが必然的に失敗する。 私たちはプログレッシブコンテキストでフレームワークを改訂しました。 Transformer Tracker (ProContEXT) は空間的・時間的文脈を利用して物体の動きの軌跡を予測する。
  論文  参考訳（メタデータ） (2022-10-27T14:47:19Z)
• Time Is MattEr: Temporal Self-supervision for Video Transformers [72.42240984211283]
  我々は、時間的ダイナミクスをよりよく学習するために、ビデオモデルのための単純で効果的な自己教師型タスクを設計する。 ビデオフレームの時間順序を余分な自己監督として学習し、ランダムにシャッフルされたフレームを低信頼出力に強制する。 様々なビデオ行動認識タスクにおいて,本手法の有効性と最先端のビデオ変換器との互換性を実証する。
  論文  参考訳（メタデータ） (2022-07-19T04:44:08Z)
• Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
  本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。 短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
  論文  参考訳（メタデータ） (2022-03-14T17:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。