論文の概要: Track Any Peppers: Weakly Supervised Sweet Pepper Tracking Using VLMs
- arxiv url: http://arxiv.org/abs/2411.06702v1
- Date: Mon, 11 Nov 2024 04:07:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:09:13.973842
- Title: Track Any Peppers: Weakly Supervised Sweet Pepper Tracking Using VLMs
- Title(参考訳): スイート・ペッパーをVLMで追跡する「Pepper Tracking」
- Authors: Jia Syuen Lim, Yadan Luo, Zhi Chen, Tianqi Wei, Scott Chapman, Zi Huang,
- Abstract要約: Track Any Peppers (TAP)は、トウガラシ追跡のための弱い教師付きアンサンブル技術である。
TAPは、人間の介入を最小限に抑えたビデオシーケンスで、サツマイモの擬似ラベルを生成する。
提案手法では,HOTAスコア80.4%,MOTA66.1%,リコール74.0%,精度90.7%を実現している。
- 参考スコア(独自算出の注目度): 31.303427417198137
- License:
- Abstract: In the Detection and Multi-Object Tracking of Sweet Peppers Challenge, we present Track Any Peppers (TAP) - a weakly supervised ensemble technique for sweet peppers tracking. TAP leverages the zero-shot detection capabilities of vision-language foundation models like Grounding DINO to automatically generate pseudo-labels for sweet peppers in video sequences with minimal human intervention. These pseudo-labels, refined when necessary, are used to train a YOLOv8 segmentation network. To enhance detection accuracy under challenging conditions, we incorporate pre-processing techniques such as relighting adjustments and apply depth-based filtering during post-inference. For object tracking, we integrate the Matching by Segment Anything (MASA) adapter with the BoT-SORT algorithm. Our approach achieves a HOTA score of 80.4%, MOTA of 66.1%, Recall of 74.0%, and Precision of 90.7%, demonstrating effective tracking of sweet peppers without extensive manual effort. This work highlights the potential of foundation models for efficient and accurate object detection and tracking in agricultural settings.
- Abstract(参考訳): スイート・ペッパーズ・チャレンジの検知と多目的追跡では,甘味唐辛子追跡のための弱教師付アンサンブル技術であるTrack Any Peppers (TAP)を提示する。
TAPは、Grounding DINOのような視覚言語基盤モデルのゼロショット検出機能を活用して、人間の介入を最小限に抑えたビデオシーケンスで、トウガラシの擬似ラベルを自動的に生成する。
これらの擬似ラベルは、必要に応じて洗練され、YOLOv8セグメンテーションネットワークのトレーニングに使用される。
難解な条件下での検知精度を高めるため,照明調整などの前処理技術と,後推論時の深度に基づくフィルタリングを取り入れた。
オブジェクト追跡には,MASAアダプタとBoT-SORTアルゴリズムを併用する。
提案手法は,HOTAスコア80.4%,MOTA66.1%,リコール74.0%,精度90.7%を達成し,手作業を伴わない甘辛料の効果的な追跡を実証した。
この研究は、農業環境での効率的かつ正確な物体検出と追跡のための基礎モデルの可能性を強調している。
関連論文リスト
- PP-YOLOE-R: An Efficient Anchor-Free Rotated Object Detector [14.263912554269435]
PP-YOLOE-Rは、PP-YOLOEに基づくアンカーフリー回転物体検出器である。
PP-YOLOE-R-l と PP-YOLOE-R-x は DOTA 1.0 データセット上で 78.14 と 78.28 mAP を達成する。
PP-YOLOE-R-xは全てのアンカーフリー手法を超越し、最先端のアンカーベース2段階モデルとの競合性能を示す。
論文 参考訳(メタデータ) (2022-11-04T11:38:30Z) - SOMPT22: A Surveillance Oriented Multi-Pedestrian Tracking Dataset [5.962184741057505]
我々はSOMPT22データセットを紹介した。これは、都市監視のための高さ6-8mのポール上の静止カメラから撮影した注釈付きショートビデオを備えた、複数人の追跡のための新しいセットである。
我々は,新しいデータセット上での検出とreIDネットワークの利用方法について,MOTトラッカーをワンショットと2ステージに分類して分析する。
我々の新しいデータセットの実験結果から、SOTAは依然として高効率には程遠いことが示され、シングルショットトラッカーは高速実行と精度を競合性能と一体化するための良い候補である。
論文 参考訳(メタデータ) (2022-08-04T11:09:19Z) - SparseTT: Visual Tracking with Sparse Transformers [43.1666514605021]
長距離依存をモデル化するために設計された自己保持メカニズムがトランスフォーマーの成功の鍵となる。
本稿では,検索領域において最も関連性の高い情報に焦点をあてることで,少ない注意機構でこの問題を解消する。
本研究では,前景背景分類の精度と目標境界ボックスの回帰性を高めるために,二重頭部予測器を提案する。
論文 参考訳(メタデータ) (2022-05-08T04:00:28Z) - VariabilityTrack:Multi-Object Tracking with Variable Speed Object
Movement [1.6385815610837167]
マルチオブジェクトトラッキング(MOT)は、ビデオ内のオブジェクトのバウンディングボックスとIDを推定することを目的としている。
環境フィードバックに基づく可変速度カルマンフィルタアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-12T12:39:41Z) - SwinTrack: A Simple and Strong Baseline for Transformer Tracking [81.65306568735335]
完全注意型トランスフォーマートラッキングアルゴリズムSwin-Transformer Tracker(SwinTrack)を提案する。
SwinTrackは、機能抽出と機能融合の両方にTransformerを使用し、ターゲットオブジェクトと検索領域の間の完全なインタラクションを可能にする。
我々の徹底的な実験で、SwinTrackはLaSOT上で0.717 SUCで新しい記録を樹立し、45FPSで走りながらSTARKを4.6%上回った。
論文 参考訳(メタデータ) (2021-12-02T05:56:03Z) - Rethinking Keypoint Representations: Modeling Keypoints and Poses as
Objects for Multi-Person Human Pose Estimation [79.78017059539526]
本研究では,個々のキーポイントと空間的関連キーポイント(ポーズ)の集合を,密集した単一ステージアンカーベース検出フレームワーク内のオブジェクトとしてモデル化する,新しいヒートマップフリーなキーポイント推定手法を提案する。
実験では, KAPAOは従来手法よりもはるかに高速かつ高精度であり, 熱マップ後処理に悩まされていた。
我々の大規模モデルであるKAPAO-Lは、テスト時間拡張なしでMicrosoft COCO Keypoints検証セット上で70.6のAPを達成する。
論文 参考訳(メタデータ) (2021-11-16T15:36:44Z) - Learning Target Candidate Association to Keep Track of What Not to Track [100.80610986625693]
目標を追尾し続けるために、逸脱物を追跡することを提案します。
視覚的トラッキングにおいて, トラクタオブジェクト間の接地トルース対応を欠く問題に対処するために, 部分アノテーションと自己監督を組み合わせたトレーニング戦略を提案する。
我々のトラッカーは6つのベンチマークで新しい最先端のベンチマークを設定し、AUCスコアはLaSOTで67.2%、OxUvA長期データセットで+6.1%向上した。
論文 参考訳(メタデータ) (2021-03-30T17:58:02Z) - Tracklets Predicting Based Adaptive Graph Tracking [51.352829280902114]
マルチオブジェクト追跡,すなわち textbfTPAGT のための,正確かつエンドツーエンドの学習フレームワークを提案する。
動作予測に基づいて、現在のフレーム内のトラックレットの特徴を再抽出する。
論文 参考訳(メタデータ) (2020-10-18T16:16:49Z) - Cooling-Shrinking Attack: Blinding the Tracker with Imperceptible Noises [87.53808756910452]
The method is proposed to deceive-of-the-the-art SiameseRPN-based tracker。
本手法は転送性に優れ,DaSiamRPN,DaSiamRPN-UpdateNet,DiMPなどの他のトップパフォーマンストラッカーを騙すことができる。
論文 参考訳(メタデータ) (2020-03-21T07:13:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。