論文の概要: TrackFish3D: Self-Supervised 3D Tracking of Schooling Fish from Multi-view Videos

• arxiv url: http://arxiv.org/abs/2609.38347v1
• Date: Tue, 29 Sep 2026 18:10:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.56201
• Title: TrackFish3D: Self-Supervised 3D Tracking of Schooling Fish from Multi-view Videos
• Title（参考訳）: TrackFish3D:マルチビュービデオから教師による魚の3D追跡
• Abstract要約: 本稿では,密集型マルチカメラ3D追跡のための自己教師型フレームワークであるTrackFish3Dを提案する。 外観に基づく再識別に頼る代わりに、TrackFish3Dはマルチビュー幾何学を監督する。 TrackFish3Dは魚以外のものを一般化し、現実世界の鳥の追跡に強い結果をもたらす。
• 参考スコア（独自算出の注目度）: 49.369387048935586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantifying collective fish behavior requires accurate trajectories, yet multi-view 3D tracking remains challenging due to frequent occlusions, visually similar individuals, and the long-standing scarcity of identity annotations. We present TrackFish3D, a geometry-driven self-supervised framework for dense multi-camera 3D tracking of schooling fish. Instead of relying on appearance-based re-identification or manually annotated identities, TrackFish3D turns calibrated multi-view geometry into supervision: triangulation and reprojection consistency provide pseudo-associations, while a geometric encoder and global association transformer learn all-to-all cross-view correspondence within each frame. To make these associations identity-aware, TrackFish3D introduces a self-supervised contrastive objective that separates co-visible individuals in the embedding space, together with a temporal predictor that preserves identities and bridges short occlusions across frames. The resulting model is trained once on unlabeled footage and applied directly to unseen test videos, requiring no cross-view identity labels, temporal annotations, 3D ground truth, appearance features, or test-time optimization. On our benchmark, TrackFish3D improves 3D Multi-Object Tracking Accuracy from 87.7% for the strongest baseline to 95.8%. On the 3D-ZeF zebrafish benchmark, it achieves 81.1% MOTA, compared with 77.4% for the best geometric baseline. TrackFish3D also generalizes beyond fish, achieving strong results on real-world bird tracking.
• Abstract（参考訳）: 集団的な魚の行動の定量化には正確な軌跡が必要であるが、多視点3D追跡は、頻繁な閉塞、視覚的に類似した個人、長期にわたるアイデンティティアノテーションの欠如により、依然として困難である。 魚の密集型マルチカメラ3D追跡のための幾何学駆動型自己教師型フレームワークであるTrackFish3Dを提案する。 TrackFish3Dは、外見に基づく再識別や手動で注釈付きIDに頼る代わりに、校正されたマルチビュー幾何を監督へと変換する。 TrackFish3Dは、自己監督されたコントラスト的目標を導入し、埋め込み空間におけるコヴィジュアブルな個人を分離し、時間的予測器でフレームをまたいでIDを保存し、短い閉塞をブリッジする。 得られたモデルは、ラベルなしの映像でトレーニングされ、見知らぬテストビデオに直接適用され、クロスビューのアイデンティティラベル、時間的アノテーション、3D地上の真実、外観の特徴、テストタイムの最適化を必要としない。 ベンチマークでは、TrackFish3Dは3Dマルチオブジェクト追跡精度を87.7%から95.8%に改善した。 3D-ZeFのゼブラフィッシュベンチマークでは81.1%のMOTAを達成し、最高の幾何学ベースラインでは77.4%を達成している。 TrackFish3Dは魚以外にも一般化されており、現実世界の鳥の追跡に強い成果を上げている。

関連論文リスト

• TAPVid-MV: A Benchmark for Tracking Any Point in 3D Across Multiple Views [50.26507994908593]
  この設定の最初のベンチマークであるTAPVid-MV(Tracking Any Point in Video across Multiple Views)を紹介します。 キュレートされた284のシーケンス、1,142のキャリブレーションされたカメラストリーム、109,769のトラックが、屋内と屋外のドメインにまたがる7つのサブセットにまたがっている。 本研究では,センサ深度,LiDAR,SLAM,SfM点,ヒューマンメッシュ,ポーズされたオブジェクトメッシュ,シミュレーションといった,データセット固有の補助的モダリティを用いてこれらのトラジェクトリを解析し,各シーケンスとトラジェクトリを人間のアノテーションによって視覚的に検証する。
  論文  参考訳（メタデータ） (2026-09-01T21:58:51Z)
• Sparse3DTrack: Monocular 3D Object Tracking Using Sparse Supervision [16.586885757497203]
  モノクロ3Dオブジェクトトラッキングは、ビデオフレーム全体で時間的に一貫した3Dオブジェクトのポーズを推定することを目的としている。 既存の最先端のアプローチは、完全に監視されており、長いビデオシーケンスよりも密集した3Dアノテーションに依存している。 モノクロ3次元物体追跡のための最初の教師付きフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-18T21:36:41Z)
• SpatialTrackerV2: 3D Point Tracking Made Easy [73.0350898700048]
  SpaceTrackerV2はモノクロビデオのフィードフォワード3Dポイントトラッキング手法である。 これは、世界空間の3Dモーションをシーン幾何学、カメラエゴモーション、ピクセルワイドオブジェクトモーションに分解する。 このような異種データから幾何学と運動を共同で学習することで、SpatialTrackerV2は既存の3Dトラッキング方法よりも30%優れています。
  論文  参考訳（メタデータ） (2025-07-16T17:59:03Z)
• TAPVid-3D: A Benchmark for Tracking Any Point in 3D [63.060421798990845]
  我々は,3Dにおける任意の点の追跡作業を評価するための新しいベンチマークTAPVid-3Dを導入する。 このベンチマークは、モノクロビデオから正確な3Dの動きと表面の変形を理解する能力を改善するためのガイドポストとして機能する。
  論文  参考訳（メタデータ） (2024-07-08T13:28:47Z)
• Time3D: End-to-End Joint Monocular 3D Object Detection and Tracking for Autonomous Driving [3.8073142980733]
  本稿では,モノクローナルビデオのみからエンドツーエンドに3D検出と3D追跡を共同で行うことを提案する。 Time3Dは21.4%のAMOTA、13.6%のAMOTPをnuScenesの3D追跡ベンチマークで達成し、全競合を抜いた。
  論文  参考訳（メタデータ） (2022-05-30T06:41:10Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。