論文の概要: Paths: Prompt-aware Spatio-temporal Transformer with Hierarchical Multi-modal Fusion for RGB-Event Video Person Re-Identification

• arxiv url: http://arxiv.org/abs/2608.13092v1
• Date: Thu, 13 Aug 2026 10:58:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.49823
• Title: Paths: Prompt-aware Spatio-temporal Transformer with Hierarchical Multi-modal Fusion for RGB-Event Video Person Re-Identification
• Title（参考訳）: 経路:RGBイベントビデオパーソン再同定のための階層型マルチモーダルフュージョンを用いたプロンプト対応時空間変圧器
• Abstract要約: 本稿では,RE-VReIDのための離散時間モデリングと階層的マルチモーダル融合を用いた統合フレームワークを提案する。 我々のフレームワークは、RE-VReIDの堅牢で差別的な表現を学習することができる。
• 参考スコア（独自算出の注目度）: 75.15027201505912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RGB-Event Video Person Re-Identification (RE-VReID) aims to retrieve specific person across non-overlapping cameras with complementary RGB videos and event streams. However, existing methods often decouple spatial and temporal modeling, which limits their interaction. In addition, global-level RGB-Event fusion fails to fully exploit fine-grained discriminative cues. To address these issues, we propose Paths, a unified framework with spatio-temporal modeling and hierarchical multi-modal fusion for RE-VReID. Specifically, we first design a Memory-Augmented Backbone (MAB) to maintain modality-specific identity prototypes for stable intra-modal representation learning. Then, we propose a Prompt-aware Spatio-temporal Transformer (PST) to jointly model spatial and temporal cues within a unified Transformer. Finally, we introduce a Hierarchical Multi-modal Fusion (HMF) to integrate RGB and event features at global and local levels. With these modules, our framework can learn robust and discriminative representations for RE-VReID. Extensive experiments on three public RE-VReID benchmarks including EvReID, MARS and iLIDS-VID, demonstrate the effectiveness of our proposed method. The code is available at https://github.com/Reflection0427/Paths.
• Abstract（参考訳）: RGB-Event Video Person Re-Identification (RE-VReID)は、RGBビデオとイベントストリームを補完して、重複しないカメラを介して特定の人物を検索することを目的としている。 しかし、既存の手法はしばしば空間的・時間的モデリングを分離し、相互作用を制限する。 さらに、グローバルレベルのRGBイベント融合は、きめ細かい識別方法を完全に活用することができない。 これらの課題に対処するため,RE-VReIDのための時空間モデリングと階層的マルチモーダル融合を備えた統合フレームワークPathsを提案する。 具体的には、まずメモリ拡張バックボーン(MAB)を設計し、安定なモーダル表現学習のためのモーダル固有識別プロトタイプを保守する。 そこで我々はPST(Prompt-aware Spatio-temporal Transformer)を提案する。 最後に、RGBとイベント機能をグローバルおよびローカルレベルで統合する階層型マルチモーダルフュージョン(HMF)を導入する。 これらのモジュールにより、我々のフレームワークは、RE-VReIDの堅牢で差別的な表現を学習することができる。 EvReID,MARS,iLIDS-VIDを含む3つの公開RE-VReIDベンチマークの大規模な実験により,提案手法の有効性が示された。 コードはhttps://github.com/Reflection0427/Paths.comで公開されている。

関連論文リスト

• Weaving Light and Time: Unified Harmonic-Geometric Representation Learning for Dense RGB-Event Parsing [55.13802890769086]
  我々は、専用のRGB-Event解析用に特別に設計された最初の統一バックボーンであるEvitaを紹介する。 深いモーダルなシナジーを達成するため、Evitaはすべてのエンコーダ層に直接固有のコラーニングモジュール群を組み込む。 Evitaは、リアルタイムマルチモーダル認識において、より優れた精度とレイテンシのトレードオフを提供しながら、新しい最先端メトリクスを確立する。
  論文  参考訳（メタデータ） (2026-07-10T06:52:09Z)
• CMTFormer: Marrying Transformer with Hierarchical Information Interaction for RGB-Event Object Detection [17.487415888287]
  イベントカメラは、高時間分解能と高ダイナミックレンジでスパース輝度の変化をキャプチャする。 従来のマルチモーダル融合技術は、RGBフレームとイベントストリームの間に固有の不均一性を扱うことができない。 本稿では,RGBとイベント情報を階層的に統合したCross-Modal Information inTeraction transFormerを提案する。
  論文  参考訳（メタデータ） (2026-06-28T00:49:05Z)
• HyPSAM: Hybrid Prompt-driven Segment Anything Model for RGB-Thermal Salient Object Detection [75.406055413928]
  RGB-T SODのための新しいプロンプト駆動セグメントモデル(HyPSAM)を提案する。 DFNetは動的畳み込みとマルチブランチデコーディングを使用して、適応的な相互モダリティ相互作用を促進する。 3つの公開データセットの実験により,本手法が最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2025-09-23T07:32:11Z)
• CM3AE: A Unified RGB Frame and Event-Voxel/-Frame Pre-training Framework [30.734382771657312]
  RGBイベント認識のための新しいCM3AE事前学習フレームワークを提案する。 このフレームワークは、RGBイメージ、イベントイメージ、イベントボクセルなど、データのマルチモダリティ/ビューを入力として受け入れる。 我々は,事前学習のための2,535,759のRGB-Eventデータペアを含む大規模データセットを構築した。
  論文  参考訳（メタデータ） (2025-04-17T01:49:46Z)
• Multi-modal Multi-platform Person Re-Identification: Benchmark and Method [58.59888754340054]
  MP-ReIDは、マルチモダリティとマルチプラットフォームReIDに特化した新しいデータセットである。 このベンチマークは、RGB、赤外線、サーマルイメージングなど、さまざまなモードで1,930のIDからデータをコンパイルする。 クロスモダリティとクロスプラットフォームシナリオに適した,特定設計のプロンプトを備えたフレームワークであるUni-Prompt ReIDを紹介する。
  論文  参考訳（メタデータ） (2025-03-21T12:27:49Z)
• Learning Modal-Invariant and Temporal-Memory for Video-based Visible-Infrared Person Re-Identification [46.49866514866999]
  主にビデオベースのクロスモーダル人物Re-ID法について研究する。 トラックレット内のフレームの増加により,性能が向上することが証明された。 モーダル不変部分空間に2つのモダリティを投影する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-08-04T04:43:52Z)
• Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient Object Detection [67.33924278729903]
  本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。 視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。 5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-06-07T08:35:41Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。