論文の概要: MMGait: Benchmarking and Unifying Gait Recognition across Heterogeneous Modalities

• arxiv url: http://arxiv.org/abs/2609.11601v1
• Date: Thu, 10 Sep 2026 14:23:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.397266
• Title: MMGait: Benchmarking and Unifying Gait Recognition across Heterogeneous Modalities
• Title（参考訳）: MMGait:不均一なモダリティ間の歩行認識のベンチマークと統一化
• Abstract要約: 人間の歩行は、RGB中心のベンチマークでは体系的に調べられない異質な測光、幾何学、運動の手がかりを生成する。 MMGaitは、目視、赤外線、深度、LiDAR、レーダー観測をシーケンスレベルの対応にもたらす大規模なマルチセンサベンチマークである。 Omni-Modal Gait Recognition(Omni-Modal Gait Recognition、Omni-Modal Gait Recognition、Omni-Modal Gait Recognition、Omni-Modal Gait Recognition、Omni-Modal Gait Recognition、Omni-Modal Gait Recognition、Omni-Modal Gait Recognition)を定式化する。
• 参考スコア（独自算出の注目度）: 31.890370751419425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gait recognition is commonly studied using RGB videos or their derived silhouettes and poses. Yet human walking produces heterogeneous photometric, geometric, and motion cues that cannot be systematically examined with RGB-centered benchmarks. We present MMGait, a large-scale multi-sensor benchmark that brings visible, infrared, depth, LiDAR, and radar observations into sequence-level correspondence. It provides diverse modalities spanning appearance, contours, geometry, motion, and body structure. Under a shared impostor-augmented protocol, we evaluate single-modal recognition, cross-modal recognition via directed retrieval, and multi-modal recognition using task-specific experts. Across settings, modality rankings vary with probe conditions, cross-modal alignment remains difficult, and fusion often provides complementary gains. This analysis exposes a scalability problem: individual modalities, modality pairs, and fusion configurations are typically handled by separately trained experts. We formulate Omni-Modal Gait Recognition, which unifies single-modal, cross-modal, and multi-modal recognition within a shared identity space. OmniGait++ uses modality-specific front ends followed by a shared identity encoder to preserve modality-dependent cues while learning comparable identity descriptors. An anchor-guided fusion module aggregates modality subsets of varying size without frame-level synchronization. A jointly trained checkpoint covers all three recognition settings and accommodates modality subsets of different compositions and cardinalities. Experiments show OmniGait++ remains competitive with task-specific experts in many shared settings and extends to higher-cardinality fusion unavailable to fixed-pair models. The results establish MMGait as a common testbed for heterogeneous gait sensing and demonstrate the feasibility of unified recognition under varying modality availability.
• Abstract（参考訳）: 歩行認識は、RGBビデオやその派生したシルエットやポーズを用いて一般的に研究されている。 しかし、人間の歩行は、RGB中心のベンチマークでは体系的に調べられない異質な測光、幾何学、運動の手がかりを生み出す。 MMGaitは、目視、赤外線、深度、LiDAR、レーダー観測をシーケンスレベルの対応にもたらす大規模なマルチセンサベンチマークである。 外観、輪郭、幾何学、運動、身体構造にまたがる多様なモダリティを提供する。 提案プロトコルでは, 単一モーダル認識, 有向検索によるクロスモーダル認識, タスク固有専門家を用いたマルチモーダル認識の評価を行う。 設定全体において、モダリティのランクはプローブ条件によって異なり、クロスモーダルアライメントは難しいままであり、融合はしばしば相補的な利得をもたらす。 個々のモダリティ、モダリティペア、融合構成は通常、個別に訓練された専門家によって扱われる。 Omni-Modal Gait Recognition(Omni-Modal Gait Recognition、Omni-Modal Gait Recognition、Omni-Modal Gait Recognition、Omni-Modal Gait Recognition、Omni-Modal Gait Recognition、Omni-Modal Gait Recognition、Omni-Modal Gait Recognition)を定式化する。 OmniGait++は、モダリティ固有のフロントエンドを使用し、続いて共有IDエンコーダを使用して、同等のID記述子を学習しながら、モダリティに依存したキューを保存する。 アンカー誘導核融合モジュールは、フレームレベル同期なしで様々な大きさのモダリティサブセットを集約する。 共同で訓練されたチェックポイントは、3つの認識設定をすべてカバーし、異なる構成と濃度のモダリティサブセットを許容する。 実験によると、OmniGait++は多くの共有設定でタスク固有の専門家と競合し続けている。 その結果,MMGaitは異種歩行検知のための共通のテストベッドとして確立され,統一認識の実現可能性を示した。

関連論文リスト

• Dual-Space Modality Consistency Learning for Universal Cross-Modal Re-Identification [10.822746613983464]
  ReID(Cross-modal Re-Identification)は、異種画像モダリティ間で同じアイデンティティを検索することを目的としている。 広義のクロスモーダルReIDのためのDual-Space Modality Consistency Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-07T08:20:36Z)
• Dual-Edged Homogeneous-Modality Similarity: Towards Visible-Infrared Modality-Incomplete Person Re-Identification with Modality Adaptive Matching [60.86381869046298]
  我々は, Visible-Infrared Modality-Incomplete Re-Identification (VIMI-ReID) タスクを形式化する。 VIMI-ReIDにおける予測不可能なモダリティの組み合わせと、同質なモダリティサンプルの固有の類似性は、大きな性能低下を引き起こす。 モーダリティ固有およびモーダリティ共有特徴を抽出するMAMT(Modality Adaptive Matching Transformer)を提案する。
  論文  参考訳（メタデータ） (2026-07-21T04:10:20Z)
• MMGait: Towards Multi-Modal Gait Recognition [31.890370751419425]
  5つの異種センサからのデータを統合する総合的マルチモーダル・ゲイト・ベンチマークであるMMGaitを提案する。 MMGaitは、12のモダリティと725の被験者からの334,060のシーケンスを含んでおり、幾何学、測光、運動ドメインの体系的な探索を可能にしている。 我々は,上記の3つの歩行認識パラダイムを1つのモデルに統一することを目的とした,新しいタスクであるOmni Multi-Modal Gait Recognitionを導入する。
  論文  参考訳（メタデータ） (2026-04-17T11:42:42Z)
• Modality-Agnostic Prompt Learning for Multi-Modal Camouflaged Object Detection [61.36976558603528]
  本稿では,Segment Anything Model(SAM)のためのモダリティに依存しないマルチモーダルプロンプトを生成する新しいフレームワークを提案する。 具体的には,データ駆動型コンテンツドメインと知識駆動型プロンプトドメインとのインタラクションを通じて,マルチモーダル学習をモデル化する。 さらに,微粒なプロンプトキューを組み込むことで,粗い予測をキャリブレーションする軽量マスクリファインモジュールを導入する。
  論文  参考訳（メタデータ） (2026-04-14T07:13:28Z)
• UniversalRAG: Retrieval-Augmented Generation over Corpora of Diverse Modalities and Granularities [53.76854299076118]
  UniversalRAGは異種情報源からの知識を多様さと粒度で検索・統合するための新しいRAGフレームワークである。 本稿では,最も適切なモダリティ固有コーパスを動的に識別し,その内部でターゲット検索を行うモダリティ対応ルーティング機構を提案する。 マルチモーダル性にまたがる8つのベンチマークでUniversalRAGを検証する。
  論文  参考訳（メタデータ） (2025-04-29T13:18:58Z)
• RAMer: Reconstruction-based Adversarial Model for Multi-party Multi-modal Multi-label Emotion Recognition [20.12929002385256]
  本稿では,モダリティの共通点と特異点を探索し,マルチモーダル表現を洗練させるRAMer(Reconstruction-based Adversarial Model for Emotion Recognition)を提案する。 RAMer は Dyadic および multi-party MMER シナリオで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-02-09T07:46:35Z)
• GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
  ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。 距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。 クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
  論文  参考訳（メタデータ） (2024-10-20T03:45:50Z)
• XTrack: Multimodal Training Boosts RGB-X Video Object Trackers [88.72203975896558]
  マルチモーダルセンシングから得られる知識を効果的に共有することが重要である。 異なるモダリティにまたがる類似のサンプルは、他のものよりも多くの知識を共有できる。 提案手法は,現在のSOTAよりも平均+3%精度が向上したRGB-Xトラッカーである。
  論文  参考訳（メタデータ） (2024-05-28T03:00:58Z)
• Cross-modality Person re-identification with Shared-Specific Feature Transfer [112.60513494602337]
  クロスモダリティの人物再識別(cm-ReID)は、インテリジェントビデオ分析において難しいが重要な技術である。 モーダリティ共有型特徴伝達アルゴリズム (cm-SSFT) を提案し, モーダリティ共有型情報とモーダリティ固有特性の両方のポテンシャルについて検討する。
  論文  参考訳（メタデータ） (2020-02-28T00:18:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。