論文の概要: Light Field Based 6DoF Tracking of Previously Unobserved Objects
- arxiv url: http://arxiv.org/abs/2512.13007v1
- Date: Mon, 15 Dec 2025 06:04:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-16 17:54:56.550849
- Title: Light Field Based 6DoF Tracking of Previously Unobserved Objects
- Title(参考訳): 従来観測されなかった物体の光場に基づく6DoF追跡
- Authors: Nikolai Goncharov, James L. Gray, Donald G. Dansereau,
- Abstract要約: 予め訓練されたモデルに依存しない光場画像に基づく物体追跡手法を提案する。
これらのスプレートは統一されたオブジェクト表現として機能し、異なるレンダリングとポーズの最適化をサポートする。
実験により,本手法は最先端のモデルベーストラッカーと競合することを示した。
- 参考スコア(独自算出の注目度): 3.364554138758565
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Object tracking is an important step in robotics and reautonomous driving pipelines, which has to generalize to previously unseen and complex objects. Existing high-performing methods often rely on pre-captured object views to build explicit reference models, which restricts them to a fixed set of known objects. However, such reference models can struggle with visually complex appearance, reducing the quality of tracking. In this work, we introduce an object tracking method based on light field images that does not depend on a pre-trained model, while being robust to complex visual behavior, such as reflections. We extract semantic and geometric features from light field inputs using vision foundation models and convert them into view-dependent Gaussian splats. These splats serve as a unified object representation, supporting differentiable rendering and pose optimization. We further introduce a light field object tracking dataset containing challenging reflective objects with precise ground truth poses. Experiments demonstrate that our method is competitive with state-of-the-art model-based trackers in these difficult cases, paving the way toward universal object tracking in robotic systems. Code/data available at https://github.com/nagonch/LiFT-6DoF.
- Abstract(参考訳): 物体追跡はロボティクスと再自律走行パイプラインにおいて重要なステップであり、以前は見えなかった複雑な物体に一般化する必要がある。
既存のハイパフォーマンスなメソッドは、しばしば、明示的な参照モデルを構築するために、プレキャプチャされたオブジェクトビューに依存し、既知のオブジェクトの固定セットに制限する。
しかし、このような参照モデルは視覚的に複雑な外観に苦慮し、追跡の質を低下させる。
本研究では,反射などの複雑な視覚行動に対して頑健でありながら,事前学習されたモデルに依存しない光場画像に基づく物体追跡手法を提案する。
我々は、視覚基礎モデルを用いて光場入力から意味的特徴と幾何学的特徴を抽出し、それらをビュー依存ガウススプラットに変換する。
これらのスプレートは統一されたオブジェクト表現として機能し、異なるレンダリングとポーズの最適化をサポートする。
さらに、精密な地中真理のポーズを持つ難解な反射物体を含む光場オブジェクト追跡データセットを導入する。
実験により,本手法は,ロボットシステムにおける汎用物体追跡への道を開いた,最先端のモデルベーストラッカーと競合することを示した。
コード/データはhttps://github.com/nagonch/LiFT-6DoF.comで公開されている。
関連論文リスト
- Zero-Shot Open-Vocabulary Tracking with Large Pre-Trained Models [28.304047711166056]
大規模事前訓練モデルでは、野生の2次元静的画像中の物体の検出とセグメンテーションの進歩が期待できる。
このような大規模なトレーニング済みの静的イメージモデルを,オープン語彙のビデオトラッキングに再利用することは可能だろうか?
本稿では,オープンボキャブラリ検出器,セグメンタ,高密度光流推定器を,任意のカテゴリの物体を2Dビデオで追跡・セグメント化するモデルに再構成する。
論文 参考訳(メタデータ) (2023-10-10T20:25:30Z) - UniQuadric: A SLAM Backend for Unknown Rigid Object 3D Tracking and
Light-Weight Modeling [7.626461564400769]
本稿では,エゴモーショントラッキング,剛体オブジェクトモーショントラッキング,モデリングを統一するSLAMバックエンドを提案する。
本システムは,複雑な動的シーンにおける物体知覚の潜在的な応用を実証する。
論文 参考訳(メタデータ) (2023-09-29T07:50:09Z) - Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。
画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。
オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
論文 参考訳(メタデータ) (2023-07-07T04:03:48Z) - Discovering Objects that Can Move [55.743225595012966]
手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。
既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。
私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
論文 参考訳(メタデータ) (2022-03-18T21:13:56Z) - Suspected Object Matters: Rethinking Model's Prediction for One-stage
Visual Grounding [93.82542533426766]
疑似オブジェクト間の対象オブジェクト選択を促進するため,疑似オブジェクト変換機構(SOT)を提案する。
SOTは既存のCNNとTransformerベースのワンステージ視覚グラウンドにシームレスに統合できる。
実験の結果,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2022-03-10T06:41:07Z) - Learning to Track with Object Permanence [61.36492084090744]
共同物体の検出と追跡のためのエンドツーエンドのトレーニング可能なアプローチを紹介します。
私たちのモデルは、合成データと実データで共同トレーニングされ、KITTIおよびMOT17データセットの最先端を上回ります。
論文 参考訳(メタデータ) (2021-03-26T04:43:04Z) - Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection
Consistency [114.02182755620784]
本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。
筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
論文 参考訳(メタデータ) (2021-02-04T14:26:42Z) - SoDA: Multi-Object Tracking with Soft Data Association [75.39833486073597]
マルチオブジェクトトラッキング(MOT)は、自動運転車の安全な配備の前提条件である。
観測対象間の依存関係をエンコードするトラック埋め込みの計算に注目するMOTに対する新しいアプローチを提案する。
論文 参考訳(メタデータ) (2020-08-18T03:40:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。