論文の概要: EgoPoints: Advancing Point Tracking for Egocentric Videos

• arxiv url: http://arxiv.org/abs/2412.04592v1
• Date: Thu, 05 Dec 2024 20:12:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:22.641133
• Title: EgoPoints: Advancing Point Tracking for Egocentric Videos
• Title（参考訳）: EgoPoints:Egocentricビデオのポイントトラッキングの改善
• Authors: Ahmad Darkhalil, Rhodri Guerrier, Adam W. Harley, Dima Damen,
• Abstract要約: エゴ中心ビデオにおけるポイントトラッキングのベンチマークであるEgoPointsを紹介した。 我々は、エゴセントリックなシーケンスで4.7Kの挑戦トラックを注釈付けする。 人気の高いTAP-Vid-DAVIS評価ベンチマークと比較すると、9倍のポイントがアウトオブビューに含まれています。
• 参考スコア（独自算出の注目度）: 25.073267919925158
• License:
• Abstract: We introduce EgoPoints, a benchmark for point tracking in egocentric videos. We annotate 4.7K challenging tracks in egocentric sequences. Compared to the popular TAP-Vid-DAVIS evaluation benchmark, we include 9x more points that go out-of-view and 59x more points that require re-identification (ReID) after returning to view. To measure the performance of models on these challenging points, we introduce evaluation metrics that specifically monitor tracking performance on points in-view, out-of-view, and points that require re-identification. We then propose a pipeline to create semi-real sequences, with automatic ground truth. We generate 11K such sequences by combining dynamic Kubric objects with scene points from EPIC Fields. When fine-tuning point tracking methods on these sequences and evaluating on our annotated EgoPoints sequences, we improve CoTracker across all metrics, including the tracking accuracy $\delta^\star_{\text{avg}}$ by 2.7 percentage points and accuracy on ReID sequences (ReID$\delta_{\text{avg}}$) by 2.4 points. We also improve $\delta^\star_{\text{avg}}$ and ReID$\delta_{\text{avg}}$ of PIPs++ by 0.3 and 2.8 respectively.
• Abstract（参考訳）: エゴ中心ビデオにおけるポイントトラッキングのベンチマークであるEgoPointsを紹介した。 我々は、エゴセントリックなシーケンスで4.7Kの挑戦トラックを注釈付けする。 人気の高いTAP-Vid-DAVIS評価ベンチマークと比較すると、ビューアウトの9倍のポイントと、ビュー復帰後に再識別(ReID)を必要とする59倍のポイントが含まれています。 これらの課題点におけるモデルの性能を測定するために、ビュー内、アウト・オブ・ビュー、再同定を必要とするポイントのトラッキングパフォーマンスを特に監視する評価指標を導入する。 次に,半実数列を生成するパイプラインを提案する。 動的クブリックオブジェクトとEPICフィールドのシーンポイントを組み合わせることで,11Kのそのようなシーケンスを生成する。 これらのシーケンスを微調整し、アノテーション付きEgoPointsシーケンスを評価した場合、トラッキング精度$\delta^\star_{\text{avg}}$とReIDシーケンス(ReID$\delta_{\text{avg}}$)の精度を2.4ポイント改善する。 PIPs++ の $\delta^\star_{\text{avg}}$ と ReID$\delta_{\text{avg}}$ も 0.3 と 2.8 に改善しました。

関連論文リスト

• DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild [85.03973683867797]
  本稿では,スムーズなカメラ軌跡を推定し,野生のカジュアルビデオのための高密度点雲を得るための,簡潔でエレガントでロバストなパイプラインを提案する。 提案手法は,複雑な動的課題シーンにおいても,カメラポーズ推定による最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-20T13:01:16Z)
• Solution for Point Tracking Task of ECCV 2nd Perception Test Challenge 2024 [13.14886222358538]
  本報告では,映像中の物理的表面のモニタリングに着目したトラッキング・アニーポイント(TAP)の改良手法を提案する。 我々は,0ショット方式で複数粒度の点追跡を知覚・修正することに焦点を当てた,微細な点識別(textbfFPD)と呼ばれるシンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T15:09:40Z)
• 3D-Aware Instance Segmentation and Tracking in Egocentric Videos [107.10661490652822]
  エゴセントリックなビデオは、3Dシーンの理解にユニークな課題を提示する。 本稿では,一対一のビデオにおけるインスタンスのセグメンテーションとトラッキングに対する新しいアプローチを提案する。 空間的および時間的手がかりを取り入れることで、最先端の2D手法と比較して優れた性能が得られる。
  論文  参考訳（メタデータ） (2024-08-19T10:08:25Z)
• Tracking with Human-Intent Reasoning [64.69229729784008]
  この作業では、新しいトラッキングタスクであるインストラクショントラッキングを提案している。 ビデオフレーム内で自動的にトラッキングを実行するようにトラッカーに要求する暗黙の追跡命令を提供する。 TrackGPTは複雑な推論ベースの追跡を行うことができる。
  論文  参考訳（メタデータ） (2023-12-29T03:22:18Z)
• CoTracker: It is Better to Track Together [70.63040730154984]
  CoTrackerは、長いビデオシーケンスで多数の2Dポイントを追跡するトランスフォーマーベースのモデルである。 関節トラッキングはトラッキング精度とロバスト性を大幅に改善し、CoTrackerはカメラビューの外側に隠された点や点を追跡することができる。
  論文  参考訳（メタデータ） (2023-07-14T21:13:04Z)
• TAP-Vid: A Benchmark for Tracking Any Point in a Video [84.94877216665793]
  我々は、より長いビデオクリップで表面上の任意の物理点を追跡するという問題を定式化し、任意の点(TAP)を追尾する。 そこで本研究では,実世界の映像に正確な点線アノテーションを付加したTAP-Vidと,完全な接地木線トラックを付加した合成ビデオとを併用したベンチマーク,TAP-Vidを提案する。 本稿では, 簡易な終端点追跡モデルTAP-Netを提案する。
  論文  参考訳（メタデータ） (2022-11-07T17:57:02Z)
• Cannot See the Forest for the Trees: Aggregating Multiple Viewpoints to Better Classify Objects in Videos [36.28269135795851]
  本稿では,トラックレットに含まれる複数の視点から情報を集約することで,トラックレットの分類精度を向上させる集合分類器を提案する。 ResNet-101上のQDTrackにメソッドをアタッチするだけで、TAOの検証とテストセットで19.9%と15.7%のTrackAP_50という新しい最先端を実現できます。
  論文  参考訳（メタデータ） (2022-06-05T07:51:58Z)
• Learning Tracking Representations via Dual-Branch Fully Transformer Networks [82.21771581817937]
  追従のためのトランスフォーマーのみをベースとした,シームズ型デュアルブランチネットワークを提案する。 注目ウィンドウ内の他のパッチとのマッチング結果に基づいて,各パッチの特徴ベクトルを抽出する。 この手法は、最高の性能の方法として、より良い結果または同等の結果を得る。
  論文  参考訳（メタデータ） (2021-12-05T13:44:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。