論文の概要: Text-guided Feature Disentanglement for Cross-modal Gait Recognition
- arxiv url: http://arxiv.org/abs/2605.30784v1
- Date: Fri, 29 May 2026 03:16:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.361374
- Title: Text-guided Feature Disentanglement for Cross-modal Gait Recognition
- Title（参考訳）: モーダル歩行認識のためのテキスト誘導型特徴分散
- Abstract要約: 歩行認識は、歩行パターンに基づいて個人を識別する生体計測技術であり、長距離で非侵襲的なシナリオにおいて利点を提供する。
現実のシナリオでは、LiDARやRGBカメラのようなモダリティを感知することが多く、LiDAR-Cross-Modal Gait認識は重要で困難なタスクである。
この課題に対処するため,テキスト誘導型クロスモーダル特徴分散ネットワークTCFDNetを提案する。
SUSTech1KとFreeGaitデータセットの大規模な実験は、TCFDNetが新しい最先端の結果を達成し、提案したモジュールの有効性を検証することを実証している。
- 参考スコア（独自算出の注目度）: 5.766298616867406
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gait recognition is a biometric technique that identifies individuals based on their walking patterns, offering advantages in long-range, non-intrusive scenarios. However, real-world scenarios often involve heterogeneous sensing modalities such as LiDAR and RGB cameras, making LiDAR-Camera Cross-modal Gait recognition (LCCGR) a critical yet challenging task due to the substantial modality gap between 2D videos and 3D point cloud sequences. To address this challenge, we propose TCFDNet, a Text-guided Cross-modal Feature Disentanglement Network, which leverages modality-aware textual priors as semantic anchors to guide the learning of disentangled modality-shared representations. Specifically, we construct a Gait Modality Text Dictionary (GMTD) using large language models to generate rich semantic descriptions of gait across modalities and viewpoints. A CLIP-based Multi-grained Feature Encoder then aligns visual and textual features within a unified vision-language space. Furthermore, the Text-guided Feature Disentanglement (TFD) module selects the topk matched textual descriptions to reconstruct modality-specific representations and derive modality-shared features via residual decomposition and orthogonality constraints. To mitigate the fragility of the disentangled shared features, we propose a Feature Stability Enhancement (FSE) module, which models spatial and channel-wise correlations to improve feature robustness. In addition, a cross-modal patch exchange strategy is introduced to further improve generalization. Extensive experiments on SUSTech1K and FreeGait datasets demonstrate that TCFDNet achieves new state-of-the-art results and validate the effectiveness of the proposed modules.
- Abstract（参考訳）: 歩行認識は、歩行パターンに基づいて個人を識別する生体計測技術であり、長距離で非侵襲的なシナリオにおいて利点を提供する。
しかし、現実のシナリオは、LiDARやRGBカメラのような異質なセンシングモダリティを伴い、LiDAR-Cameraクロスモダル・ゲイト認識(LCCGR)は、2Dビデオと3Dポイント・クラウド・シーケンスの間にかなりのモダリティのギャップがあるため、重要な課題である。
この課題に対処するために,モダリティを意識したテキスト先行をセマンティックアンカーとして活用し,モダリティ共有表現の学習を誘導するテキスト誘導型クロスモーダル特徴分散ネットワークTCFDNetを提案する。
具体的には,大規模な言語モデルを用いた歩行モダリティテキスト辞書(GMTD)を構築し,モーダル性や視点にまたがる歩行の意味的記述を生成する。
CLIPベースのMulti-fine Feature Encoderは、視覚とテキストの機能を統合された視覚言語空間内に配置する。
さらに、テキスト誘導特徴分散(TFD)モジュールは、トプクマッチングされたテキスト記述を選択して、残差分解と直交制約によって、モダリティ固有の表現とモダリティ共有特徴を再構成する。
本研究では, 空間的およびチャネル的相関をモデル化し, 特徴の堅牢性を向上させる機能安定度向上(FSE)モジュールを提案する。
さらに、一般化をさらに改善するために、クロスモーダルパッチ交換戦略を導入する。
SUSTech1KとFreeGaitデータセットの大規模な実験は、TCFDNetが新しい最先端の結果を達成し、提案したモジュールの有効性を検証することを実証している。
関連論文リスト
- SEPS: Semantic-enhanced Patch Slimming Framework for fine-grained cross-modal alignment [8.657941729790599]
本稿では,パッチの冗長性と曖昧性に体系的に対処するセマンティック・エンハンスト・パッチ・スライミング(SEPS)フレームワークを紹介する。
提案手法では,密文と疎文の両方から統合されたセマンティクスを統合するための2段階の機構を用いて,視覚的パッチを識別する。
Flickr30KとMS-COCOデータセットの実験は、SEPSが優れたパフォーマンスを達成することを検証する。
論文 参考訳（メタデータ） (2025-11-03T09:41:32Z) - GAID: Frame-Level Gated Audio-Visual Integration with Directional Perturbation for Text-Video Retrieval [12.483734449829235]
GAIDは、テキストガイダンスの下でオーディオと視覚機能を統合するフレームワークである。
DASPは、構造を意識した摂動をテキスト埋め込みに注入し、マルチパス推論を発生させることなく、堅牢性と差別性を高める。
MSR-VTT, DiDeMo, LSMDC, VATEXによる実験では, 顕著な効率向上が得られた。
論文 参考訳（メタデータ） (2025-08-03T10:44:24Z) - MGCR-Net:Multimodal Graph-Conditioned Vision-Language Reconstruction Network for Remote Sensing Change Detection [55.702662643521265]
マルチモーダルデータのセマンティックインタラクション機能を検討するために,マルチモーダルグラフ条件付き視覚言語再構成ネットワーク(MGCR-Net)を提案する。
4つの公開データセットによる実験結果から,MGCRは主流CD法に比べて優れた性能を示した。
論文 参考訳（メタデータ） (2025-08-03T02:50:08Z) - DiffRIS: Enhancing Referring Remote Sensing Image Segmentation with Pre-trained Text-to-Image Diffusion Models [9.109484087832058]
DiffRISは、RRSISタスクのための事前訓練されたテキスト-画像拡散モデルのセマンティック理解機能を利用する新しいフレームワークである。
我々のフレームワークは、文脈認識アダプタ(CP-adapter)とクロスモーダル推論デコーダ(PCMRD)の2つの重要なイノベーションを導入している。
論文 参考訳（メタデータ） (2025-06-23T02:38:56Z) - Scale-wise Bidirectional Alignment Network for Referring Remote Sensing Image Segmentation [12.893224628061516]
リモートセンシング画像セグメンテーション(RRSIS)の目的は、自然言語表現を用いて、空中画像内の特定のピクセルレベル領域を抽出することである。
本稿では,これらの課題に対処するため,SBANet(Scale-wise Bidirectional Alignment Network)と呼ばれる革新的なフレームワークを提案する。
提案手法は,RRSIS-DとRefSegRSのデータセットにおける従来の最先端手法と比較して,優れた性能を実現する。
論文 参考訳（メタデータ） (2025-01-01T14:24:04Z) - GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。
距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。
クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
論文 参考訳（メタデータ） (2024-10-20T03:45:50Z) - Cross-Modal Bidirectional Interaction Model for Referring Remote Sensing Image Segmentation [50.433911327489554]
リモートセンシング画像セグメンテーション(RRSIS)の目標は、参照式によって識別された対象オブジェクトの画素レベルマスクを生成することである。
上記の課題に対処するため、クロスモーダル双方向相互作用モデル(CroBIM)と呼ばれる新しいRRSISフレームワークが提案されている。
RRSISの研究をさらに推し進めるために、52,472個の画像言語ラベル三重項からなる新しい大規模ベンチマークデータセットRISBenchを構築した。
論文 参考訳（メタデータ） (2024-10-11T08:28:04Z) - Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。
任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。
AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
論文 参考訳（メタデータ） (2024-05-06T11:02:02Z) - Language Guided Domain Generalized Medical Image Segmentation [68.93124785575739]
単一ソースドメインの一般化は、より信頼性が高く一貫性のあるイメージセグメンテーションを現実の臨床環境にわたって約束する。
本稿では,テキストエンコーダ機能によって案内されるコントラスト学習機構を組み込むことで,テキスト情報を明確に活用する手法を提案する。
文献における既存手法に対して,本手法は良好な性能を発揮する。
論文 参考訳（メタデータ） (2024-04-01T17:48:15Z) - Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。
具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
論文 参考訳（メタデータ） (2023-05-17T14:30:11Z) - SCMM: Calibrating Cross-modal Representations for Text-Based Person Search [45.24784242117999]
テキストベースPerson Search (TBPS) は、クロスモーダル情報融合において重要な課題に直面している。
SCMM(Sew and Masked Modeling)は,2つの相補的なメカニズムによってこれらの融合課題に対処する新しいフレームワークである。
論文 参考訳（メタデータ） (2023-04-05T07:50:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。