論文の概要: Exploring More from Multiple Gait Modalities for Human Identification
- arxiv url: http://arxiv.org/abs/2412.11495v1
- Date: Mon, 16 Dec 2024 07:15:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:57:08.433682
- Title: Exploring More from Multiple Gait Modalities for Human Identification
- Title（参考訳）: 人間識別のための複数の歩行モーダリティの探索
- Authors: Dongyang Jin, Chao Fan, Weihua Chen, Shiqi Yu,
- Abstract要約: 歩行は、軟質な生体計測特性の一種であり、遠くにいる個体の異なる歩行パターンを反映することができる。
本研究は,3つの一般的な歩行表現,すなわちシルエット,人間のパーシング,光学的流れについて,様々な融合評価を行った。
- 参考スコア（独自算出の注目度）: 11.34181213495609
- License:
- Abstract: The gait, as a kind of soft biometric characteristic, can reflect the distinct walking patterns of individuals at a distance, exhibiting a promising technique for unrestrained human identification. With largely excluding gait-unrelated cues hidden in RGB videos, the silhouette and skeleton, though visually compact, have acted as two of the most prevailing gait modalities for a long time. Recently, several attempts have been made to introduce more informative data forms like human parsing and optical flow images to capture gait characteristics, along with multi-branch architectures. However, due to the inconsistency within model designs and experiment settings, we argue that a comprehensive and fair comparative study among these popular gait modalities, involving the representational capacity and fusion strategy exploration, is still lacking. From the perspectives of fine vs. coarse-grained shape and whole vs. pixel-wise motion modeling, this work presents an in-depth investigation of three popular gait representations, i.e., silhouette, human parsing, and optical flow, with various fusion evaluations, and experimentally exposes their similarities and differences. Based on the obtained insights, we further develop a C$^2$Fusion strategy, consequently building our new framework MultiGait++. C$^2$Fusion preserves commonalities while highlighting differences to enrich the learning of gait features. To verify our findings and conclusions, extensive experiments on Gait3D, GREW, CCPG, and SUSTech1K are conducted. The code is available at https://github.com/ShiqiYu/OpenGait.
- Abstract（参考訳）: 歩行は、軟質な生体計測特性の一種であり、個人が離れた場所で歩行するパターンを反映し、拘束されていない人間の識別に有望な技術を示す。
RGBビデオに隠された歩行非関連の手がかりをほとんど除いたこのシルエットと骨格は、視覚的にコンパクトだが、長い間、最も普及している歩行モダリティの2つとして機能してきた。
近年、マルチブランチアーキテクチャとともに、歩行特性を捉えるために、人間の解析や光フロー画像などのより情報性の高いデータ形式を導入する試みがいくつかなされている。
しかし, モデル設計と実験設定の整合性から, 表現能力と融合戦略探索を含む, 一般的な歩行モダリティの包括的かつ公平な比較研究は, いまだに欠落していると論じる。
本研究は, 細粒度, 粗粒度, ピクセルワイドモーションモデリングの観点から, シルエット, 人間のパーシング, 光学的流れの3つの一般的な歩行表現について, 様々な融合評価を行い, 類似点と相違点を実験的に明らかにした。
得られた知見に基づいて、我々はさらにC$^2$Fusion戦略を開発し、その結果、新しいフレームワークであるMultiGait++を構築します。
C$^2$Fusionは共通性を保ちながら、歩行特徴の学習を豊かにする違いを強調している。
以上の結果と結論を確認するため,Gait3D,GREW,CCPG,SUSTech1Kについて広範な実験を行った。
コードはhttps://github.com/ShiqiYu/OpenGait.comで入手できる。
関連論文リスト
- Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models [65.82564074712836]
テキストと画像の拡散モデルに光を流す新しいHOI検出器であるDIFfusionHOIを紹介する。
まず、埋め込み空間における人間と物体の関係パターンの表現をインバージョンベースで学習する戦略を考案する。
これらの学習された関係埋め込みはテキストのプロンプトとして機能し、スタイア拡散モデルが特定の相互作用を記述する画像を生成する。
論文 参考訳（メタデータ） (2024-10-26T12:00:33Z) - GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。
距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。
クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
論文 参考訳（メタデータ） (2024-10-20T03:45:50Z) - GaitMA: Pose-guided Multi-modal Feature Fusion for Gait Recognition [26.721242606715354]
歩行認識は、歩行パターンを通して人間の身元を認識する生体計測技術である。
我々は、Gait Multi-model Aggregation Network (GaitMA)と呼ばれる新しい歩行認識フレームワークを提案する。
まず, 2つのCNN特徴抽出器を用いて, シルエットと骨格の特徴を抽出した。
論文 参考訳（メタデータ） (2024-07-20T09:05:17Z) - Two Approaches to Supervised Image Segmentation [55.616364225463066]
本研究は、深層学習とマルチセットニューロンのアプローチの比較実験を開発する。
ディープラーニングアプローチは、画像セグメンテーションの実行の可能性を確認した。
代替のマルチセット手法では、計算資源をほとんど必要とせずに精度を向上することができた。
論文 参考訳（メタデータ） (2023-07-19T16:42:52Z) - Explicit Correspondence Matching for Generalizable Neural Radiance
Fields [49.49773108695526]
本稿では,新たな未知のシナリオに一般化し,2つのソースビューで新規なビュー合成を行う新しいNeRF手法を提案する。
明瞭な対応マッチングは、異なるビュー上の3Dポイントの2次元投影でサンプリングされた画像特徴間のコサイン類似度と定量化される。
実験では,実験結果から得られたコサイン特徴の類似性と体積密度との間に強い相関関係が認められた。
論文 参考訳（メタデータ） (2023-04-24T17:46:01Z) - Multi-Modal Human Authentication Using Silhouettes, Gait and RGB [59.46083527510924]
全体認証は、遠隔生体認証のシナリオにおいて有望なアプローチである。
本稿では,RGBデータとシルエットデータを組み合わせたDME(Dual-Modal Ensemble)を提案する。
DME内では、従来の歩行分析に使用される二重ヘリカル歩行パターンにインスパイアされたGaitPatternを提案する。
論文 参考訳（メタデータ） (2022-10-08T15:17:32Z) - Generalizable Neural Performer: Learning Robust Radiance Fields for
Human Novel View Synthesis [52.720314035084215]
この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。
我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。
GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
論文 参考訳（メタデータ） (2022-04-25T17:14:22Z) - Privacy-Preserving In-Bed Pose Monitoring: A Fusion and Reconstruction
Study [9.474452908573111]
ベッド内ポーズ推定における複数の非視覚的・プライバシー保護的モダリティの画像の有効利用について検討する。
まず,様々な画像モダリティからの情報を効果的に融合し,より優れたポーズ推定を行う。
次に,可視画像が利用できない場合のベッド内ポーズ推定を行うフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-22T07:24:21Z) - ZFlow: Gated Appearance Flow-based Virtual Try-on with 3D Priors [13.977100716044104]
画像ベースの仮想トライオンでは、特定の衣服を着たモデルの説得力のあるイメージを合成する。
近年の方法は2段階のプロセスを含む:i) モデル ii に合わせるために衣服を変形させる。
モデルや衣服に関する幾何学的な情報の欠如は、しばしば細かい細部を不適切にレンダリングする。
我々は、これらの懸念を軽減するために、エンドツーエンドのフレームワークであるZFlowを提案する。
論文 参考訳（メタデータ） (2021-09-14T22:41:14Z) - View-Invariant Gait Recognition with Attentive Recurrent Learning of
Partial Representations [27.33579145744285]
本稿では,まず,フレームレベルの畳み込み特徴から歩行畳み込みエネルギーマップ(GCEM)を抽出するネットワークを提案する。
次に、GCEMの分割されたビンから学ぶために双方向ニューラルネットワークを採用し、学習された部分的リカレント表現の関係を利用する。
提案手法は2つの大規模CASIA-BとOU-Mの歩行データセットで広範囲に検証されている。
論文 参考訳（メタデータ） (2020-10-18T20:20:43Z) - Gait Recognition using Multi-Scale Partial Representation Transformation
with Capsules [22.99694601595627]
本稿では,カプセルを用いたマルチスケール部分歩行表現の伝達を学習する,新しいディープネットワークを提案する。
我々のネットワークは、まず最先端のディープ部分特徴抽出器を用いて、マルチスケールな部分表現を得る。
その後、前向きと後向きの部分的特徴間のパターンの相関関係と共起関係を繰り返し学習する。
論文 参考訳（メタデータ） (2020-10-18T19:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。