論文の概要: TranSG: Transformer-Based Skeleton Graph Prototype Contrastive Learning
with Structure-Trajectory Prompted Reconstruction for Person
Re-Identification
- arxiv url: http://arxiv.org/abs/2303.06819v3
- Date: Mon, 31 Jul 2023 02:50:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 23:17:13.437836
- Title: TranSG: Transformer-Based Skeleton Graph Prototype Contrastive Learning
with Structure-Trajectory Prompted Reconstruction for Person
Re-Identification
- Title（参考訳）: TranSG: 人物再同定のための構造トラジェクトリ・プロンプト再構成を用いたトランスフォーマーベースのスケルトングラフ原型コントラスト学習
- Authors: Haocong Rao, Chunyan Miao
- Abstract要約: 3Dスケルトンデータによる人物再識別(re-ID)は、顕著な優位性を持つ新興トピックである。
既存の方法は通常、生の関節を持つ骨格記述子を設計するか、あるいは骨格配列表現学習を行う。
本稿では,構造軌道を誘導する再構成によるコントラスト学習(TranSG)手法を提案する。
- 参考スコア（独自算出の注目度）: 63.903237777588316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Person re-identification (re-ID) via 3D skeleton data is an emerging topic
with prominent advantages. Existing methods usually design skeleton descriptors
with raw body joints or perform skeleton sequence representation learning.
However, they typically cannot concurrently model different body-component
relations, and rarely explore useful semantics from fine-grained
representations of body joints. In this paper, we propose a generic
Transformer-based Skeleton Graph prototype contrastive learning (TranSG)
approach with structure-trajectory prompted reconstruction to fully capture
skeletal relations and valuable spatial-temporal semantics from skeleton graphs
for person re-ID. Specifically, we first devise the Skeleton Graph Transformer
(SGT) to simultaneously learn body and motion relations within skeleton graphs,
so as to aggregate key correlative node features into graph representations.
Then, we propose the Graph Prototype Contrastive learning (GPC) to mine the
most typical graph features (graph prototypes) of each identity, and contrast
the inherent similarity between graph representations and different prototypes
from both skeleton and sequence levels to learn discriminative graph
representations. Last, a graph Structure-Trajectory Prompted Reconstruction
(STPR) mechanism is proposed to exploit the spatial and temporal contexts of
graph nodes to prompt skeleton graph reconstruction, which facilitates
capturing more valuable patterns and graph semantics for person re-ID.
Empirical evaluations demonstrate that TranSG significantly outperforms
existing state-of-the-art methods. We further show its generality under
different graph modeling, RGB-estimated skeletons, and unsupervised scenarios.
- Abstract（参考訳）: 3Dスケルトンデータによる人物再識別(re-ID)は、顕著な優位性を持つ新興トピックである。
既存の手法は通常、体関節を持つ骨格記述子を設計したり、骨格配列表現学習を行う。
しかし、それらは通常、異なる体-成分関係を同時モデル化することはできず、身体関節の細粒度表現から有用な意味論を探索することが滅多にない。
本稿では,骨格関係と空間-時空間意味論を完全に捉えるための構造-軌跡誘導型コントラスト・ラーニング(transg)アプローチを提案する。
具体的には、スケルトングラフ変換器(SGT)を用いて、骨格グラフ内の身体と運動の関係を同時に学習し、キー相関ノードの特徴をグラフ表現に集約する。
そこで我々は,グラフ表現と異なるプロトタイプの類似性を比較検討し,識別グラフ表現を学習するために,グラフプロトタイプ学習(GPC)を提案する。
最後に、グラフノードの空間的および時間的コンテキストを利用して、スケルトングラフ再構成を促進するために、stpr(graph structure-trajectoryinduced reconstruction)メカニズムが提案されている。
実証的な評価は、TranSGが既存の最先端手法を著しく上回っていることを示している。
さらに、異なるグラフモデリング、RGB推定スケルトン、教師なしシナリオの下で、その一般化を示す。
関連論文リスト
- Graph-Dictionary Signal Model for Sparse Representations of Multivariate Data [49.77103348208835]
グラフの有限集合がラプラシアンの重み付き和を通してデータ分布の関係を特徴付けるグラフ辞書信号モデルを定義する。
本稿では,観測データからグラフ辞書表現を推論するフレームワークを提案する。
我々は,脳活動データに基づく運動画像復号作業におけるグラフ辞書表現を利用して,従来の手法よりも想像的な動きをよりよく分類する。
論文 参考訳（メタデータ） (2024-11-08T17:40:43Z) - Learning graphs and simplicial complexes from data [26.926502862698168]
利用可能なデータから基礎となるグラフトポロジを推定する新しい手法を提案する。
また、文献では2次simplicial Complex (SCs) として言及されている3-ノード相互作用を同定する。
合成および実世界のデータに対する実験結果から,既存手法と比較して,本手法の方が優れた性能を示した。
論文 参考訳（メタデータ） (2023-12-16T22:02:20Z) - Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。
近年の研究では、グラフ表現学習における事前学習の有用性が示されている。
本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
論文 参考訳（メタデータ） (2023-02-06T16:26:29Z) - GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。
提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。
第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
論文 参考訳（メタデータ） (2022-12-01T11:49:07Z) - Skeleton Prototype Contrastive Learning with Multi-Level Graph Relation
Modeling for Unsupervised Person Re-Identification [63.903237777588316]
3Dスケルトンによる人物再識別(re-ID)は多くの利点を持つ重要な話題である。
既存の解は骨格構造や運動における価値ある身体-成分関係を探索することは滅多にない。
本稿では,マルチレベルグラフ関係学習を用いた汎用的教師なし型コントラスト学習パラダイムを提案する。
論文 参考訳（メタデータ） (2022-08-25T00:59:32Z) - SM-SGE: A Self-Supervised Multi-Scale Skeleton Graph Encoding Framework
for Person Re-Identification [12.347724797202865]
3Dスケルトンによる人物の再識別は、セキュリティクリティカルなアプリケーションにおいて大きな可能性を持つ、新たなトピックである。
既存の方法は、典型的には体と関節の軌跡から身体と運動の特徴を学習する。
本稿では,人体,コンポーネント関係,骨格動態を包括的にモデル化する自己教師付きマルチスケールグラフ(SM-SGE)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-05T09:53:08Z) - Multi-Level Graph Encoding with Structural-Collaborative Relation
Learning for Skeleton-Based Person Re-Identification [11.303008512400893]
Skeletonベースの人物再識別(Re-ID)は、安全クリティカルなアプリケーションに優れた価値を提供する、新たなオープントピックである。
既存の方法は通常、手作りの特徴やモデル骨格のダイナミクスを体関節の軌跡から抽出する。
Re-IDの識別グラフ特徴を符号化するために,構造協調関係学習(MG-SCR)を用いたマルチレベルグラフ符号化手法を提案する。
論文 参考訳（メタデータ） (2021-06-06T09:09:57Z) - Graph Classification Based on Skeleton and Component Features [9.681154082075698]
骨格情報に基づく分類を実現するグラフ埋め込みアルゴリズムGraphCSCを提案する。
2つのグラフは、それらの骨格と成分がどちらも類似している場合に似ており、我々のモデルでは、両方のグラフをグラフの同質性評価として埋め込みに統合する。
我々は、最新の最先端のベースラインの包括的リストと比較して、異なるデータセット上でモデルを実証し、実世界のグラフ分類タスクにおいて、我々の作業が優れていることを示す実験を行った。
論文 参考訳（メタデータ） (2021-02-02T10:52:17Z) - Structural Landmarking and Interaction Modelling: on Resolution Dilemmas
in Graph Classification [50.83222170524406]
解法ジレンマの統一概念に基づくグラフ分類における本質的難易度の研究」
構造ランドマークと相互作用モデリングのためのインダクティブニューラルネットワークモデルSLIM'を提案する。
論文 参考訳（メタデータ） (2020-06-29T01:01:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。