論文の概要: HiH: A Multi-modal Hierarchy in Hierarchy Network for Unconstrained Gait
Recognition
- arxiv url: http://arxiv.org/abs/2311.11210v1
- Date: Sun, 19 Nov 2023 03:25:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 06:59:11.662609
- Title: HiH: A Multi-modal Hierarchy in Hierarchy Network for Unconstrained Gait
Recognition
- Title(参考訳): hih:unconstrained gait認識のための階層ネットワークにおけるマルチモーダル階層
- Authors: Lei Wang, Yinchi Ma, Peng Luan, Wei Yao, Congcong Li, Bo Liu
- Abstract要約: 本稿では,階層型ネットワーク(HiH)におけるマルチモーダル階層(Hierarchy in Hierarchy Network)について述べる。
HiH は階層的なゲイト・デコンポザ・モジュールを用いてシルエットデータから一般的なゲイト・パターンの深度的およびモジュール内階層的な検証を行う主ブランチを特徴とする。
2次元関節配列に基づく補助枝は、歩行解析の空間的側面と時間的側面を豊かにする。
- 参考スコア(独自算出の注目度): 9.61073611172277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gait recognition has achieved promising advances in controlled settings, yet
it significantly struggles in unconstrained environments due to challenges such
as view changes, occlusions, and varying walking speeds. Additionally, efforts
to fuse multiple modalities often face limited improvements because of
cross-modality incompatibility, particularly in outdoor scenarios. To address
these issues, we present a multi-modal Hierarchy in Hierarchy network (HiH)
that integrates silhouette and pose sequences for robust gait recognition. HiH
features a main branch that utilizes Hierarchical Gait Decomposer (HGD) modules
for depth-wise and intra-module hierarchical examination of general gait
patterns from silhouette data. This approach captures motion hierarchies from
overall body dynamics to detailed limb movements, facilitating the
representation of gait attributes across multiple spatial resolutions.
Complementing this, an auxiliary branch, based on 2D joint sequences, enriches
the spatial and temporal aspects of gait analysis. It employs a Deformable
Spatial Enhancement (DSE) module for pose-guided spatial attention and a
Deformable Temporal Alignment (DTA) module for aligning motion dynamics through
learned temporal offsets. Extensive evaluations across diverse indoor and
outdoor datasets demonstrate HiH's state-of-the-art performance, affirming a
well-balanced trade-off between accuracy and efficiency.
- Abstract(参考訳): 歩行認識は、制御された環境において有望な進歩を遂げてきたが、視野の変化、咬合、歩行速度の変化といった課題により、訓練されていない環境では著しく困難である。
加えて、複数のモダリティを融合させる努力は、特に屋外シナリオにおいて、クロスモダリティの非互換性のため、しばしば限られた改善に直面します。
これらの問題に対処するために,階層ネットワーク (hih) において,ロバストな歩行認識のためにシルエットとポーズシーケンスを統合するマルチモーダル階層を提案する。
HiHは階層的ゲイト分解器(HGD)モジュールを用いてシルエットデータから一般的なゲイトパターンの深さ方向およびモジュール内階層的な検査を行う。
このアプローチは、全身のダイナミクスから詳細な手足の動きまでの動き階層を捉え、複数の空間分解能にわたる歩行特性の表現を容易にする。
これを補完する2次元関節配列に基づく補助枝は、歩行解析の空間的・時間的側面を豊かにする。
ポーズ誘導型空間アテンションのための変形性空間拡張(DSE)モジュールと、学習された時間オフセットを通じて運動力学を整列させる変形性時間アライメント(DTA)モジュールを用いる。
さまざまな屋内および屋外データセットにわたる広範囲な評価は、HiHの最先端のパフォーマンスを示し、正確性と効率のバランスの取れたトレードオフを確認している。
関連論文リスト
- Dual-scale Enhanced and Cross-generative Consistency Learning for
Semi-supervised Polyp Segmentation [52.06525450636897]
大腸癌の早期診断と治療において, 自動ポリープセグメンテーションが重要な役割を担っている。
既存の手法は、完全に教師されたトレーニングに大きく依存しており、大量のラベル付きデータと時間を要するピクセル単位のアノテーションを必要とする。
大腸内視鏡画像からの半教師付きポリープ(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learningフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-26T12:56:31Z) - Unified Frequency-Assisted Transformer Framework for Detecting and
Grounding Multi-Modal Manipulation [109.1912721224697]
本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。
離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。
提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
論文 参考訳(メタデータ) (2023-09-18T11:06:42Z) - Improving Anomaly Segmentation with Multi-Granularity Cross-Domain
Alignment [17.086123737443714]
異常セグメンテーションは、画像中の非定型物体を識別する上で重要な役割を担っている。
既存の手法は合成データに顕著な結果を示すが、合成データドメインと実世界のデータドメインの相違を考慮できないことが多い。
シーンと個々のサンプルレベルの両方で、ドメイン間の機能を調和させるのに適した、マルチグラニュラリティ・クロスドメインアライメントフレームワークを導入します。
論文 参考訳(メタデータ) (2023-08-16T22:54:49Z) - Hierarchical Spatio-Temporal Representation Learning for Gait
Recognition [6.877671230651998]
歩行認識は、個人を独自の歩行スタイルで識別する生体計測技術である。
粗いものから細かいものまで歩行特徴を抽出する階層的時間的表現学習フレームワークを提案する。
本手法は,モデル精度と複雑性の適切なバランスを維持しつつ,最先端の手法よりも優れる。
論文 参考訳(メタデータ) (2023-07-19T09:30:00Z) - DG-STGCN: Dynamic Spatial-Temporal Modeling for Skeleton-based Action
Recognition [77.87404524458809]
骨格に基づく行動認識のための新しいフレームワーク,すなわち動的グループ時空間GCN(DG-STGCN)を提案する。
DG-GCNとDG-TCNの2つのモジュールで構成される。
DG-STGCNは最先端の手法よりも一貫して優れており、しばしば顕著な差がある。
論文 参考訳(メタデータ) (2022-10-12T03:17:37Z) - Spatiotemporal Multi-scale Bilateral Motion Network for Gait Recognition [3.1240043488226967]
本稿では,光学的流れに動機づけられた両動方向の特徴について述べる。
動作コンテキストを多段階の時間分解能でリッチに記述する多段階の時間表現を開発する。
論文 参考訳(メタデータ) (2022-09-26T01:36:22Z) - Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。
本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
論文 参考訳(メタデータ) (2022-09-01T10:46:09Z) - Combining the Silhouette and Skeleton Data for Gait Recognition [13.345465199699]
2つの主要な歩行認識作品は外観ベースとモデルベースであり、シルエットと骨格からそれぞれ特徴を抽出する。
本稿では, シルエットを入力とするCNN系分岐と, 骨格を入力とするGCN系分岐を提案する。
GCNベースの分岐における歩行表現を改善するため、マルチスケールグラフ畳み込みを統合する完全連結グラフ畳み込み演算子を提案する。
論文 参考訳(メタデータ) (2022-02-22T03:21:51Z) - Group Gated Fusion on Attention-based Bidirectional Alignment for
Multimodal Emotion Recognition [63.07844685982738]
本稿では、LSTM隠蔽状態上の注目に基づく双方向アライメントネットワークで構成されるGBAN(Gated Bidirectional Alignment Network)と呼ばれる新しいモデルを提案する。
LSTMの最後の隠れ状態よりもアテンション整列表現の方が有意に優れていたことを実証的に示す。
提案したGBANモデルは、IEMOCAPデータセットにおける既存の最先端マルチモーダルアプローチよりも優れている。
論文 参考訳(メタデータ) (2022-01-17T09:46:59Z) - One for All: An End-to-End Compact Solution for Hand Gesture Recognition [8.321276216978637]
本稿では,手動ジェスチャー認識のための細粒度特徴注意ネットワーク(Fit-Hand)をエンド・ツー・エンドのコンパクトCNNフレームワークとして提案する。
提案されたアーキテクチャのパイプラインは、FineFeatモジュールと拡張畳み込み層(Conv)の2つの主要なユニットで構成されています。
Fit-Handの有効性は、7つのベンチマークデータセット上の主観依存(SD)および主観独立(SI)検証セットアップを使用して評価される。
論文 参考訳(メタデータ) (2021-05-15T05:10:47Z) - Self-Guided Adaptation: Progressive Representation Alignment for Domain
Adaptive Object Detection [86.69077525494106]
非教師なしドメイン適応(UDA)は、オブジェクト検出モデルのドメイン間ロバスト性を改善するために前例のない成功を収めた。
既存のUDA手法は、モデル学習中の瞬間的なデータ分布を無視しており、大きなドメインシフトによって特徴表現が劣化する可能性がある。
本稿では、特徴表現の整合とドメイン間のオブジェクト検出モデルの転送を目標とする自己ガイド適応モデルを提案する。
論文 参考訳(メタデータ) (2020-03-19T13:30:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。