論文の概要: Skeleton-Guided Spatial-Temporal Feature Learning for Video-Based Visible-Infrared Person Re-Identification

• arxiv url: http://arxiv.org/abs/2411.11069v1
• Date: Sun, 17 Nov 2024 13:18:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:33:13.340274
• Title: Skeleton-Guided Spatial-Temporal Feature Learning for Video-Based Visible-Infrared Person Re-Identification
• Title（参考訳）: 映像に基づく可視赤外人物再同定のための骨格誘導型時空間特徴学習
• Authors: Wenjia Jiang, Xiaoke Zhu, Jiakang Gao, Di Liao,
• Abstract要約: 映像に基づく視覚的赤外線再識別(VVI-ReID)は,特徴的相違により困難である。 VVI-ReIDのための新しいスケルトン誘導時空間フェースリーニング(STAR)法を提案する。
• 参考スコア（独自算出の注目度）: 2.623742123778503
• License:
• Abstract: Video-based visible-infrared person re-identification (VVI-ReID) is challenging due to significant modality feature discrepancies. Spatial-temporal information in videos is crucial, but the accuracy of spatial-temporal information is often influenced by issues like low quality and occlusions in videos. Existing methods mainly focus on reducing modality differences, but pay limited attention to improving spatial-temporal features, particularly for infrared videos. To address this, we propose a novel Skeleton-guided spatial-Temporal feAture leaRning (STAR) method for VVI-ReID. By using skeleton information, which is robust to issues such as poor image quality and occlusions, STAR improves the accuracy of spatial-temporal features in videos of both modalities. Specifically, STAR employs two levels of skeleton-guided strategies: frame level and sequence level. At the frame level, the robust structured skeleton information is used to refine the visual features of individual frames. At the sequence level, we design a feature aggregation mechanism based on skeleton key points graph, which learns the contribution of different body parts to spatial-temporal features, further enhancing the accuracy of global features. Experiments on benchmark datasets demonstrate that STAR outperforms state-of-the-art methods. Code will be open source soon.
• Abstract（参考訳）: 映像に基づく視覚的赤外線再識別(VVI-ReID)は,特徴的相違により困難である。 ビデオにおける空間的時間的情報は非常に重要であるが、空間的時間的情報の正確さは、ビデオの低品質や閉塞といった問題に影響されることが多い。 既存の手法は主にモダリティの違いの低減に重点を置いているが、特に赤外線ビデオにおいて、空間的時間的特徴の改善に限定的な注意を払っている。 そこで本稿では,VVI-ReIDのためのSkeleton-Guided Space-Temporal leaRning(STAR)手法を提案する。 画像品質や閉塞などの問題に対して堅牢なスケルトン情報を使用することで、STARは両方のモダリティのビデオにおける空間的特徴の精度を向上させる。 特にSTARは、フレームレベルとシーケンスレベルという2つのレベルのスケルトン誘導戦略を採用している。 フレームレベルでは、ロバストな構造化された骨格情報は、個々のフレームの視覚的特徴を洗練するために使用される。 シーケンスレベルでは、スケルトンキーポイントグラフに基づく特徴集約機構を設計し、異なる身体部位の空間的時間的特徴への寄与を学習し、グローバルな特徴の精度をさらに高める。 ベンチマークデータセットの実験では、STARが最先端のメソッドより優れていることが示されている。 コードはまもなくオープンソースになる。

関連論文リスト

• Weakly Supervised Video Anomaly Detection and Localization with Spatio-Temporal Prompts [57.01985221057047]
  本稿では、事前学習された視覚言語モデル(VLM)に基づく、弱教師付きビデオ異常検出および局所化のための時間的プロンプト埋め込み(WSVADL)を学習する新しい手法を提案する。 提案手法は,WSVADLタスクの3つの公開ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-08-12T03:31:29Z)
• A Spatial-Temporal Deformable Attention based Framework for Breast Lesion Detection in Videos [107.96514633713034]
  本稿では,STNet という空間的・時間的変形可能なアテンションベースのフレームワークを提案する。 我々のSTNetは、局所的な空間的時間的特徴融合を行うために、空間的時間的変形可能なアテンションモジュールを導入している。 乳腺病変の超音波画像データセットを用いた実験により,STNetは最先端の検出性能を得ることができた。
  論文  参考訳（メタデータ） (2023-09-09T07:00:10Z)
• Deeply-Coupled Convolution-Transformer with Spatial-temporal Complementary Learning for Video-based Person Re-identification [91.56939957189505]
  本稿では,高性能ビデオベース Re-ID のための新しい時空間補完学習フレームワークである Deeply-Coupled Convolution-Transformer (DCCT) を提案する。 私たちのフレームワークは、ほとんどの最先端のメソッドよりも優れたパフォーマンスを実現できます。
  論文  参考訳（メタデータ） (2023-04-27T12:16:44Z)
• Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
  内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。 我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
  論文  参考訳（メタデータ） (2023-03-17T12:55:22Z)
• Video Salient Object Detection via Contrastive Features and Attention Modules [106.33219760012048]
  本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。 コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。 提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-03T17:40:32Z)
• Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos [78.45050529204701]
  クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。 CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。 グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
  論文  参考訳（メタデータ） (2021-04-15T14:32:12Z)
• A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video [7.647599484103065]
  我々は,アテンション機構を用いた局所的グローバル空間情報のモデリングにより,人間の骨格における制約の学習を改善する。 提案手法は, 奥行きのあいまいさと自己閉塞性を効果的に軽減し, 半上半身推定を一般化し, 2次元から3次元映像のポーズ推定における競合性能を実現する。
  論文  参考訳（メタデータ） (2020-03-11T14:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。