論文の概要: TOP-ReID: Multi-spectral Object Re-Identification with Token Permutation

• arxiv url: http://arxiv.org/abs/2312.09612v1
• Date: Fri, 15 Dec 2023 08:54:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 16:39:16.204037
• Title: TOP-ReID: Multi-spectral Object Re-Identification with Token Permutation
• Title（参考訳）: top-reid:トークン置換によるマルチスペクトルオブジェクトの再識別
• Authors: Yuhao Wang and Xuehu Liu and Pingping Zhang and Hu Lu and Zhengzheng Tu and Huchuan Lu
• Abstract要約: マルチスペクトルオブジェクトReID, Dubbled TOP-ReIDのための循環トークン置換フレームワークを提案する。 また,巡回多スペクトル特徴アグリゲーションのためのToken Permutation Module (TPM)を提案する。 提案するフレームワークは,ロバストなオブジェクトReIDに対して,より識別性の高いマルチスペクトル特徴を生成できる。
• 参考スコア（独自算出の注目度）: 64.65950381870742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-spectral object Re-identification (ReID) aims to retrieve specific objects by leveraging complementary information from different image spectra. It delivers great advantages over traditional single-spectral ReID in complex visual environment. However, the significant distribution gap among different image spectra poses great challenges for effective multi-spectral feature representations. In addition, most of current Transformer-based ReID methods only utilize the global feature of class tokens to achieve the holistic retrieval, ignoring the local discriminative ones. To address the above issues, we step further to utilize all the tokens of Transformers and propose a cyclic token permutation framework for multi-spectral object ReID, dubbled TOP-ReID. More specifically, we first deploy a multi-stream deep network based on vision Transformers to preserve distinct information from different image spectra. Then, we propose a Token Permutation Module (TPM) for cyclic multi-spectral feature aggregation. It not only facilitates the spatial feature alignment across different image spectra, but also allows the class token of each spectrum to perceive the local details of other spectra. Meanwhile, we propose a Complementary Reconstruction Module (CRM), which introduces dense token-level reconstruction constraints to reduce the distribution gap across different image spectra. With the above modules, our proposed framework can generate more discriminative multi-spectral features for robust object ReID. Extensive experiments on three ReID benchmarks (i.e., RGBNT201, RGBNT100 and MSVR310) verify the effectiveness of our methods. The code is available at https://github.com/924973292/TOP-ReID.
• Abstract（参考訳）: ReID(Multi-spectral Object Re-identification)は、異なる画像スペクトルから補完情報を活用することで、特定のオブジェクトを検索することを目的としている。 複雑な視覚環境において、従来の単一スペクトルReIDよりも大きな利点を提供する。 しかし、異なる画像スペクトル間の有意な分布ギャップは、効果的なマルチスペクトル特徴表現に大きな課題をもたらす。 さらに、現在のtransformerベースのreidメソッドのほとんどは、クラストークンのグローバル特徴のみを使用して、局所的な判別を無視して、総合的な検索を実現する。 上記の問題に対処するため、トランスフォーマーのトークンを全て活用し、マルチスペクトルオブジェクトReIDのための循環トークン置換フレームワークTOP-ReIDを提案する。 具体的には、視覚変換器に基づくマルチストリームディープネットワークを最初に展開し、異なる画像スペクトルから異なる情報を保存する。 そこで本研究では,巡回多スペクトル特徴集約のためのToken Permutation Module (TPM)を提案する。 異なる画像スペクトル間の空間的特徴のアライメントを促進するだけでなく、各スペクトルのクラストークンが他のスペクトルの局所的詳細を認識できるようにする。 一方,画像スペクトル間の分散ギャップを低減するために,高密度なトークンレベルの再構成制約を導入する補完的再構成モジュール(CRM)を提案する。 上記のモジュールにより、提案フレームワークはロバストなオブジェクトreidに対してより識別可能なマルチスペクトル機能を生成することができる。 3つのReIDベンチマーク(RGBNT201、RGBNT100、MSVR310)の大規模な実験により、本手法の有効性が検証された。 コードはhttps://github.com/924973292/top-reidで入手できる。

関連論文リスト

• Magic Tokens: Select Diverse Tokens for Multi-modal Object Re-Identification [64.36210786350568]
  マルチモーダルオブジェクトReIDのための視覚変換器から多様なトークンを選択するための,textbfEDITORという新しい学習フレームワークを提案する。 我々のフレームワークはマルチモーダルオブジェクトReIDに対してより差別的な機能を生成することができる。
  論文  参考訳（メタデータ） (2024-03-15T12:44:35Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)
• MultiScale Spectral-Spatial Convolutional Transformer for Hyperspectral Image Classification [9.051982753583232]
  Transformerはハイパースペクトル画像分類のためのCNNの代替アーキテクチャとなっている。 ハイパースペクトル画像分類のためのマルチスケールスペクトル空間畳み込み変換器(MultiscaleFormer)を提案する。
  論文  参考訳（メタデータ） (2023-10-28T00:41:35Z)
• FMRT: Learning Accurate Feature Matching with Reconciliatory Transformer [29.95553680263075]
  本稿では,複数の受容場と異なる特徴を適応的に整合する検出不要な手法であるFMRTを提案する。 FMRTは、ポーズ推定、視覚的ローカライゼーション、ホモグラフィー推定、画像マッチングなど、複数のベンチマークで素晴らしいパフォーマンスを得る。
  論文  参考訳（メタデータ） (2023-10-20T15:54:18Z)
• Multiview Transformer: Rethinking Spatial Information in Hyperspectral Image Classification [43.17196501332728]
  ハイパースペクトル画像における各画素のランドカバーカテゴリの同定は、スペクトル情報と空間情報に依存する。 本稿では,シーン固有であるが本質的でない相関関係がHSIカブイドに記録される可能性があることを考察する。 本稿では、マルチビュー主成分分析(MPCA)、スペクトルエンコーダデコーダ(SED)、空間プールトークン化変換(SPTT)からなるHSI分類のためのマルチビュー変換器を提案する。
  論文  参考訳（メタデータ） (2023-10-11T04:25:24Z)
• Deep Diversity-Enhanced Feature Representation of Hyperspectral Images [87.47202258194719]
  トポロジを改良して3次元畳み込みを補正し,上行階の高次化を図る。 また、要素間の独立性を最大化するために特徴マップに作用する新しい多様性対応正規化(DA-Reg)項を提案する。 提案したRe$3$-ConvSetとDA-Regの優位性を実証するために,様々なHS画像処理および解析タスクに適用する。
  論文  参考訳（メタデータ） (2023-01-15T16:19:18Z)
• AF$_2$: Adaptive Focus Framework for Aerial Imagery Segmentation [86.44683367028914]
  航空画像のセグメンテーションにはいくつかの独特な課題があり、中でも最も重要なものは前景と背景のアンバランスにある。 本稿では,階層的なセグメンテーション手法を採用し,マルチスケール表現を適応的に活用するAdaptive Focus Framework (AF$)を提案する。 AF$は、広く使われている3つの航空ベンチマークの精度を大幅に改善した。
  論文  参考訳（メタデータ） (2022-02-18T10:14:45Z)
• There and Back Again: Self-supervised Multispectral Correspondence Estimation [13.56924750612194]
  自己監督が可能な新しいサイクル一貫性指標を紹介します。 これにより、スペクトルに依存しない損失関数と組み合わせることで、同じネットワークを複数のスペクトルにわたってトレーニングできます。 本研究では,高密度RGB-FIR対応推定の課題に対するアプローチを示す。
  論文  参考訳（メタデータ） (2021-03-19T12:33:56Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。