論文の概要: Transparent Object Tracking with Enhanced Fusion Module
- arxiv url: http://arxiv.org/abs/2309.06701v1
- Date: Wed, 13 Sep 2023 03:52:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 15:30:58.932270
- Title: Transparent Object Tracking with Enhanced Fusion Module
- Title（参考訳）: 拡張核融合モジュールを用いた透明物体追跡
- Authors: Kalyan Garigapati, Erik Blasch, Jie Wei, Haibin Ling
- Abstract要約: 我々は,我々の融合技術を用いて,透明物体追跡のための優れた結果を得る新しいトラッカーアーキテクチャを提案する。
我々の結果とコードの実装はhttps://github.com/kalyan05TOTEM.comで公開されます。
- 参考スコア（独自算出の注目度）: 56.403878717170784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurate tracking of transparent objects, such as glasses, plays a critical
role in many robotic tasks such as robot-assisted living. Due to the adaptive
and often reflective texture of such objects, traditional tracking algorithms
that rely on general-purpose learned features suffer from reduced performance.
Recent research has proposed to instill transparency awareness into existing
general object trackers by fusing purpose-built features. However, with the
existing fusion techniques, the addition of new features causes a change in the
latent space making it impossible to incorporate transparency awareness on
trackers with fixed latent spaces. For example, many of the current days
transformer-based trackers are fully pre-trained and are sensitive to any
latent space perturbations. In this paper, we present a new feature fusion
technique that integrates transparency information into a fixed feature space,
enabling its use in a broader range of trackers. Our proposed fusion module,
composed of a transformer encoder and an MLP module, leverages key query-based
transformations to embed the transparency information into the tracking
pipeline. We also present a new two-step training strategy for our fusion
module to effectively merge transparency features. We propose a new tracker
architecture that uses our fusion techniques to achieve superior results for
transparent object tracking. Our proposed method achieves competitive results
with state-of-the-art trackers on TOTB, which is the largest transparent object
tracking benchmark recently released. Our results and the implementation of
code will be made publicly available at https://github.com/kalyan0510/TOTEM.
- Abstract（参考訳）: 眼鏡などの透明な物体の正確な追跡は、ロボット支援生活など多くのロボットタスクにおいて重要な役割を果たす。
このようなオブジェクトの適応的かつしばしば反射的なテクスチャのため、汎用的な学習機能に依存する従来の追跡アルゴリズムは性能の低下に悩まされる。
最近の研究は、目的に合わせた機能を活用して、既存の汎用オブジェクトトラッカに透明性の意識を植え付けることを提案している。
しかし、既存の融合技術では、新機能の追加は潜在空間に変化をもたらし、固定された潜在空間を持つトラッカーに透明性の認識を組み込むことができない。
例えば、現在のトランスフォーマーベースのトラッカーの多くは、完全に事前訓練されており、遅延空間の摂動に敏感である。
本稿では,透明性情報を固定した機能空間に統合し,より広い範囲のトラッカーでの利用を可能にする機能融合手法を提案する。
提案するフュージョンモジュールは,トランスフォーマーエンコーダとMPPモジュールで構成され,キークエリベースの変換を利用して,透明な情報をトラッキングパイプラインに埋め込む。
また,透明性機能を効果的に統合するための2段階のトレーニング戦略を提案する。
我々は,我々の融合技術を用いて透明物体追跡に優れた結果を得るための新しいトラッカアーキテクチャを提案する。
提案手法は,最近リリースされた最大の透過的オブジェクトトラッキングベンチマークであるtotbにおいて,最先端のトラッカと競合する結果が得られる。
我々の結果とコードの実装はhttps://github.com/kalyan0510/TOTEMで公開されます。
関連論文リスト
- A New Dataset and a Distractor-Aware Architecture for Transparent Object
Tracking [34.08943612955157]
現代のトラッカーの性能は透明な物体に対して不透明な物体に比べて著しく低下する。
104,343枚の画像を含む2k以上のシーケンスからなる,最初の透明なオブジェクト追跡トレーニングデータセットであるTrans2kを提案する。
また,局所化精度と目標識別を個別のタスクとして扱うディストラプタ対応透明物体追跡器(DiTra)を提案する。
論文 参考訳（メタデータ） (2024-01-08T13:04:28Z) - TransTouch: Learning Transparent Objects Depth Sensing Through Sparse
Touches [23.87056600709768]
本研究では,触覚フィードバックを持つ探索システムを用いて,疎深度ラベルを自動収集したステレオネットワークを微調整する手法を提案する。
提案手法は,特に透明物体に対して,現実世界の深度検出精度を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-09-18T01:55:17Z) - Trans2k: Unlocking the Power of Deep Models for Transparent Object
Tracking [41.039837388154]
104,343枚の画像を含む2k以上のシーケンスからなる,最初の透明なオブジェクト追跡トレーニングデータセットであるTrans2kを提案する。
ドメイン固有の属性を定量化し、ビジュアル属性を含むデータセットをレンダリングし、既存のオブジェクトトレーニングデータセットではカバーされていない状況を追跡する。
データセットとレンダリングエンジンは、現代的な学習ベースのトラッカーのパワーを解放し、透明なオブジェクトトラッキングにおける新しいデザインを育むために、一般公開される。
論文 参考訳（メタデータ） (2022-10-07T10:08:13Z) - TODE-Trans: Transparent Object Depth Estimation with Transformer [16.928131778902564]
トランスを用いた1つのRGB-D入力からの透明物体深度推定手法を提案する。
きめ細かい機能を強化するため、特徴融合モジュール(FFM)はコヒーレントな予測を支援するように設計されている。
論文 参考訳（メタデータ） (2022-09-18T03:04:01Z) - Joint Spatial-Temporal and Appearance Modeling with Transformer for
Multiple Object Tracking [59.79252390626194]
本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。
提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
論文 参考訳（メタデータ） (2022-05-31T01:19:18Z) - Backbone is All Your Need: A Simplified Architecture for Visual Object
Tracking [69.08903927311283]
既存のトラッキングアプローチはカスタマイズされたサブモジュールに依存しており、アーキテクチャの選択に事前知識が必要である。
本稿では,コンバータバックボーンを用いた簡易なトラッキングアーキテクチャ(SimTrack)を提案する。
我々のSimTrackは、LaSOT/TNL2Kで2.5%/2.6%のAUCゲインでベースラインを改善し、ベルやホイッスルのない他の特殊な追跡アルゴリズムと競合する結果を得る。
論文 参考訳（メタデータ） (2022-03-10T12:20:58Z) - Transparent Object Tracking Benchmark [58.19532269423211]
Transparent Object Tracking Benchmarkは、15の異なる透明なオブジェクトカテゴリから225のビデオ(86Kフレーム)で構成されている。
我々の知る限りでは、TOTBは透明なオブジェクト追跡に特化した最初のベンチマークです。
今後の研究を促進するために,透過性を利用した新しいトラッカーであるTransATOMを導入する。
論文 参考訳（メタデータ） (2020-11-21T21:39:43Z) - Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking [85.333260415532]
我々はRGBと熱(T)の両モードの融合重量マップを推定する新しい後期融合法を開発した。
外観キューが信頼できない場合には、動作キューを考慮に入れ、トラッカーを堅牢にする。
最近の3つのRGB-T追跡データセットの多くの結果から、提案したトラッカーは他の最先端のアルゴリズムよりも大幅に性能が向上していることが示された。
論文 参考訳（メタデータ） (2020-07-04T08:11:33Z) - Alpha-Refine: Boosting Tracking Performance by Precise Bounding Box
Estimation [87.53808756910452]
そこで我々は,Alpha-Refineと呼ばれる新しい,フレキシブルで高精度な改良モジュールを提案する。
正確なピクセルワイド相関層と空間認識の非局所層を利用して特徴を融合させ、バウンディングボックス、コーナー、マスクの3つの相補的な出力を予測する。
提案するAlpha-Refineモジュールは,DiMP,ATOM,SiamRPN++,RTMDNet,ECOの5つの有名かつ最先端のベーストラッカーに適用する。
論文 参考訳（メタデータ） (2020-07-04T07:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。