論文の概要: A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D
Skeleton Based Person Re-Identification
- arxiv url: http://arxiv.org/abs/2009.03671v3
- Date: Mon, 5 Jul 2021 02:37:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 20:43:51.377690
- Title: A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D
Skeleton Based Person Re-Identification
- Title（参考訳）: 局所性を考慮した3次元骨格型人物再同定のための自己監督歩行符号化手法
- Authors: Haocong Rao, Siqi Wang, Xiping Hu, Mingkui Tan, Yi Guo, Jun Cheng,
Xinwang Liu, and Bin Hu
- Abstract要約: 3Dスケルトン配列内の歩行特徴による人物再識別(Re-ID)は、いくつかの利点を持つ新しい話題である。
本稿では、ラベルのない骨格データを利用して人物の歩行表現を学習できる自己教師付き歩行符号化手法を提案する。
- 参考スコア（独自算出の注目度）: 65.18004601366066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Person re-identification (Re-ID) via gait features within 3D skeleton
sequences is a newly-emerging topic with several advantages. Existing solutions
either rely on hand-crafted descriptors or supervised gait representation
learning. This paper proposes a self-supervised gait encoding approach that can
leverage unlabeled skeleton data to learn gait representations for person
Re-ID. Specifically, we first create self-supervision by learning to
reconstruct unlabeled skeleton sequences reversely, which involves richer
high-level semantics to obtain better gait representations. Other pretext tasks
are also explored to further improve self-supervised learning. Second, inspired
by the fact that motion's continuity endows adjacent skeletons in one skeleton
sequence and temporally consecutive skeleton sequences with higher correlations
(referred as locality in 3D skeleton data), we propose a locality-aware
attention mechanism and a locality-aware contrastive learning scheme, which aim
to preserve locality-awareness on intra-sequence level and inter-sequence level
respectively during self-supervised learning. Last, with context vectors
learned by our locality-aware attention mechanism and contrastive learning
scheme, a novel feature named Constrastive Attention-based Gait Encodings
(CAGEs) is designed to represent gait effectively. Empirical evaluations show
that our approach significantly outperforms skeleton-based counterparts by
15-40% Rank-1 accuracy, and it even achieves superior performance to numerous
multi-modal methods with extra RGB or depth information. Our codes are
available at https://github.com/Kali-Hac/Locality-Awareness-SGE.
- Abstract（参考訳）: 3Dスケルトン配列内の歩行特徴による人物再識別(Re-ID)は、いくつかの利点を持つ新しい話題である。
既存のソリューションは手作りの記述子や教師付き歩行表現学習に依存している。
本稿では,ラベルのないスケルトンデータを用いて人物再識別のための歩行表現を学習できる,自己教師付き歩行符号化手法を提案する。
具体的には、まずラベルなしの骨格配列を逆に再構築することを学び、よりリッチなハイレベルな意味論を伴って歩行表現を得る。
その他のプリテキストタスクも、自己教師付き学習をさらに改善するために検討されている。
第2に,運動の連続性が1つの骨格配列内の隣接骨格と高い相関関係(3次元骨格データでは局所性として参照される)の時間的連続骨格配列を内包するという事実に触発されて,局所性認識注意機構と局所性認識比較学習方式を提案する。
最後に、我々の局所性認識注意機構とコントラスト学習スキームで学習したコンテキストベクトルを用いて、constrastive attention-based gait encodings(cages)という新しい特徴を効果的に表現するように設計する。
実験により,本手法は骨格をベースとした手法よりも15～40%の精度で優れており,RGBや深度情報を付加した多モード方式よりも優れた性能を示した。
私たちのコードはhttps://github.com/Kali-Hac/Locality-Awareness-SGEで公開されています。
関連論文リスト
- Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳（メタデータ） (2024-01-01T12:08:35Z) - Part Aware Contrastive Learning for Self-Supervised Action Recognition [18.423841093299135]
本稿では,骨格表現学習のための注意に基づくコントラスト学習フレームワークであるSkeAttnCLRを提案する。
提案するSkeAttnCLRはNTURGB+D, NTU120-RGB+D, PKU-MMDデータセットの最先端手法より優れている。
論文 参考訳（メタデータ） (2023-05-01T05:31:48Z) - Self-Supervised 3D Action Representation Learning with Skeleton Cloud
Colorization [75.0912240667375]
3Dスケルトンをベースとした人間の行動認識は近年注目を集めている。
既存の研究のほとんどは、多数のラベル付けされたアクションシーケンスを必要とする教師あり学習に焦点を当てている。
本稿では,骨格に基づく行動認識のための自己教師付き3次元行動表現学習について述べる。
論文 参考訳（メタデータ） (2023-04-18T08:03:26Z) - Contrastive Self-Supervised Learning for Skeleton Representations [2.528877542605869]
我々は,スケルトン点雲のセマンティクスをキャプチャする表現を学習するために,コントラッシブな自己教師付き学習手法であるSimCLRを用いている。
表現を事前訓練するために、既存の6つのデータセットを正規化し、4000万以上のスケルトンフレームを得る。
本研究では,3つの下流課題(骨格再構築,運動予測,行動分類)で学習した表現の質を評価する。
論文 参考訳（メタデータ） (2022-11-10T02:45:36Z) - SimMC: Simple Masked Contrastive Learning of Skeleton Representations
for Unsupervised Person Re-Identification [63.903237777588316]
SimMC(Simple Masked Contrastive Learning)フレームワークを提案する。
具体的には、各骨格配列内の骨格の特徴を完全に活用するために、まずマスク付きプロトタイプコントラスト学習(MPC)方式を考案する。
そこで我々は,サブシーケンス間のシーケンス内パターンの整合性を捉えるために,マスク付きシーケンス内コントラスト学習(MIC)を提案する。
論文 参考訳（メタデータ） (2022-04-21T00:19:38Z) - Skeleton-Contrastive 3D Action Representation Learning [35.06361753065124]
本稿では,骨格に基づく行動認識に適した特徴空間の自己教師型学習を目指す。
提案手法は,PKUデータセットとNTUデータセットのスケルトンデータからの自己教師付き学習における最先端性能を実現する。
論文 参考訳（メタデータ） (2021-08-08T14:44:59Z) - Skeleton Cloud Colorization for Unsupervised 3D Action Representation
Learning [65.88887113157627]
骨格に基づく人間の行動認識は近年注目を集めている。
我々は、ラベルのない骨格配列データから骨格表現を学習できる新しいスケルトン雲色化手法を設計する。
提案手法は,既存の教師なしおよび半教師付き3次元動作認識手法よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2021-08-04T10:55:39Z) - Self-Supervised Gait Encoding with Locality-Aware Attention for Person
Re-Identification [46.28501210524173]
歩行に基づく人物再識別(Re-ID)は、安全クリティカルなアプリケーションに有用である。
本稿では,ラベルのない骨格データを用いて歩行表現を自己教師付きで学習できる汎用的な歩行符号化手法を提案する。
従来の骨格法を10-20%精度で改善するアプローチが一般的である。
論文 参考訳（メタデータ） (2020-08-21T12:03:17Z) - Skeleton Based Action Recognition using a Stacked Denoising Autoencoder
with Constraints of Privileged Information [5.67220249825603]
本稿では骨格再構築の観点から骨格表現を研究するための新しい手法を提案する。
特権情報に基づく学習の概念に基づいて,動作カテゴリと時間座標を重畳したデノナイジングオートエンコーダに統合する。
一時的ミスアライメントによる変動を軽減するため,新しい時間的登録法を提案する。
論文 参考訳（メタデータ） (2020-03-12T09:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。