論文の概要: ZipGait: Bridging Skeleton and Silhouette with Diffusion Model for Advancing Gait Recognition
- arxiv url: http://arxiv.org/abs/2408.12111v1
- Date: Thu, 22 Aug 2024 03:52:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 15:13:16.539013
- Title: ZipGait: Bridging Skeleton and Silhouette with Diffusion Model for Advancing Gait Recognition
- Title（参考訳）: ZipGait: 歩行認識向上のための拡散モデルによる骨格とシルエットのブリッジ化
- Authors: Fanxu Min, Qing Cai, Shaoxiang Guo, Yang Yu, Hao Fan, Junyu Dong,
- Abstract要約: 拡散モデルを用いて, 個々の骨格分布から高密度な体形を復元する試みを初めて行った。
PGI(Perception Gait Integration)を導入し、異なる歩行機能を2段階のプロセスで統合する。
ZipGaitは、クロスドメインとイントラドメインの両方の設定において、最先端のメソッドよりも大きなマージンでパフォーマンスを向上する。
- 参考スコア（独自算出の注目度）: 31.732554267037305
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current gait recognition research predominantly focuses on extracting appearance features effectively, but the performance is severely compromised by the vulnerability of silhouettes under unconstrained scenes. Consequently, numerous studies have explored how to harness information from various models, particularly by sufficiently utilizing the intrinsic information of skeleton sequences. While these model-based methods have achieved significant performance, there is still a huge gap compared to appearance-based methods, which implies the potential value of bridging silhouettes and skeletons. In this work, we make the first attempt to reconstruct dense body shapes from discrete skeleton distributions via the diffusion model, demonstrating a new approach that connects cross-modal features rather than focusing solely on intrinsic features to improve model-based methods. To realize this idea, we propose a novel gait diffusion model named DiffGait, which has been designed with four specific adaptations suitable for gait recognition. Furthermore, to effectively utilize the reconstructed silhouettes and skeletons, we introduce Perception Gait Integration (PGI) to integrate different gait features through a two-stage process. Incorporating those modifications leads to an efficient model-based gait recognition framework called ZipGait. Through extensive experiments on four public benchmarks, ZipGait demonstrates superior performance, outperforming the state-of-the-art methods by a large margin under both cross-domain and intra-domain settings, while achieving significant plug-and-play performance improvements.
- Abstract（参考訳）: 現在の歩行認識研究は主に外見の特徴を効果的に抽出することに焦点を当てているが、その性能は制約のないシーン下でのシルエットの脆弱性によって著しく損なわれている。
その結果、多くの研究が、特に骨格配列の本質的な情報を十分に活用することによって、様々なモデルからの情報を利用する方法を探っている。
これらのモデルに基づく手法は大きな性能を達成したが、外観に基づく手法と比較しても大きなギャップがあり、シルエットや骨格をブリッジする可能性を示している。
本研究は,拡散モデルを用いて個々の骨格分布から高密度な体形を再構築する試みであり,モデルに基づく手法を改善するために,本質的な特徴のみに焦点をあてるのではなく,クロスモーダルな特徴を結合する新しいアプローチを実証するものである。
そこで本研究では,歩行認識に適した4つの具体的適応を備えた歩行拡散モデルDiffGaitを提案する。
さらに,再建したシルエットや骨格を効果的に活用するために,2段階のプロセスを通じて異なる歩行特徴を統合するためにパーセプション・ゲイト統合(PGI)を導入する。
これらの修正を取り入れることで、ZipGaitと呼ばれる効率的なモデルベースの歩行認識フレームワークが実現される。
4つの公開ベンチマークに関する広範な実験を通じて、ZipGaitは優れたパフォーマンスを示し、ドメイン間およびドメイン内両方の設定において最先端のメソッドよりも大きなマージンで性能を向上し、プラグアンドプレイのパフォーマンスが大幅に向上した。
関連論文リスト
- High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。
具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。
2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2024-09-10T08:04:11Z) - GaitMA: Pose-guided Multi-modal Feature Fusion for Gait Recognition [26.721242606715354]
歩行認識は、歩行パターンを通して人間の身元を認識する生体計測技術である。
我々は、Gait Multi-model Aggregation Network (GaitMA)と呼ばれる新しい歩行認識フレームワークを提案する。
まず, 2つのCNN特徴抽出器を用いて, シルエットと骨格の特徴を抽出した。
論文 参考訳（メタデータ） (2024-07-20T09:05:17Z) - Bridging Generative and Discriminative Models for Unified Visual
Perception with Diffusion Priors [56.82596340418697]
本稿では,豊富な生成前駆体を含む事前学習型安定拡散(SD)モデルと,階層的表現を統合可能な統一型ヘッド(Uヘッド)と,識別前駆体を提供する適応型専門家からなる,シンプルで効果的なフレームワークを提案する。
包括的調査では、異なる時間ステップで潜伏変数に隠された知覚の粒度や様々なU-netステージなど、バーマスの潜在的な特性が明らかになった。
有望な結果は,有望な学習者としての拡散モデルの可能性を示し,情報的かつ堅牢な視覚表現の確立にその意義を定めている。
論文 参考訳（メタデータ） (2024-01-29T10:36:57Z) - Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。
学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。
提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
論文 参考訳（メタデータ） (2023-12-22T14:40:55Z) - ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。
提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。
提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
論文 参考訳（メタデータ） (2023-07-15T04:48:35Z) - Multi-Modal Human Authentication Using Silhouettes, Gait and RGB [59.46083527510924]
全体認証は、遠隔生体認証のシナリオにおいて有望なアプローチである。
本稿では,RGBデータとシルエットデータを組み合わせたDME(Dual-Modal Ensemble)を提案する。
DME内では、従来の歩行分析に使用される二重ヘリカル歩行パターンにインスパイアされたGaitPatternを提案する。
論文 参考訳（メタデータ） (2022-10-08T15:17:32Z) - Towards a Deeper Understanding of Skeleton-based Gait Recognition [4.812321790984493]
近年、ほとんどの歩行認識法は、人のシルエットを使って歩行の特徴を抽出している。
モデルに基づく手法はこれらの問題に悩まされず、身体関節の時間運動を表現することができる。
本研究では,高次入力と残差ネットワークを組み合わせたグラフ畳み込みネットワーク(GCN)に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2022-04-16T18:23:37Z) - Combining the Silhouette and Skeleton Data for Gait Recognition [13.345465199699]
2つの主要な歩行認識作品は外観ベースとモデルベースであり、シルエットと骨格からそれぞれ特徴を抽出する。
本稿では, シルエットを入力とするCNN系分岐と, 骨格を入力とするGCN系分岐を提案する。
GCNベースの分岐における歩行表現を改善するため、マルチスケールグラフ畳み込みを統合する完全連結グラフ畳み込み演算子を提案する。
論文 参考訳（メタデータ） (2022-02-22T03:21:51Z) - Learning Rich Features for Gait Recognition by Integrating Skeletons and
Silhouettes [20.766540020533803]
本稿では,骨格とシルエットの相補的な手がかりをマイニングし,歩行識別のためのリッチな特徴を学習する,単純で効果的なバイモーダル融合ネットワークを提案する。
CASIA-B上を歩行する最も困難な条件下では, ランク1の精度は92.1%である。
論文 参考訳（メタデータ） (2021-10-26T04:42:24Z) - Light Field Saliency Detection with Dual Local Graph Learning
andReciprocative Guidance [148.9832328803202]
我々は、グラフネットワークを介して焦点スタック内のインフォメーション融合をモデル化する。
我々は、全焦点パタンを用いて焦点スタック融合過程をガイドする新しいデュアルグラフモデルを構築した。
論文 参考訳（メタデータ） (2021-10-02T00:54:39Z) - View-Invariant Gait Recognition with Attentive Recurrent Learning of
Partial Representations [27.33579145744285]
本稿では,まず,フレームレベルの畳み込み特徴から歩行畳み込みエネルギーマップ(GCEM)を抽出するネットワークを提案する。
次に、GCEMの分割されたビンから学ぶために双方向ニューラルネットワークを採用し、学習された部分的リカレント表現の関係を利用する。
提案手法は2つの大規模CASIA-BとOU-Mの歩行データセットで広範囲に検証されている。
論文 参考訳（メタデータ） (2020-10-18T20:20:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。