論文の概要: Text-Assisted Event Stream Visual Place Recognition via Multi-Scale Spatiotemporal Optimal Transport
- arxiv url: http://arxiv.org/abs/2611.01558v1
- Date: Sun, 01 Nov 2026 04:28:10 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:46:53.715044
- Title: Text-Assisted Event Stream Visual Place Recognition via Multi-Scale Spatiotemporal Optimal Transport
- Title（参考訳）: マルチスケール時空間最適移動によるテキスト支援イベントストリーム視覚的位置認識
- Abstract要約: イベントストリームを符号化し、それらをテキストで意味的に整合させるという課題に対処するため、マルチスケールの時空間最適輸送手法 MSTOT-EPR を提案する。
シーン認識のための高品質な時空間イベント特徴を抽出するために,マルチスケールの空間的最適輸送モジュールとフレーム間時間的最適輸送モジュールを開発した。
- 参考スコア（独自算出の注目度）: 30.94627262835714
- License:
- Abstract: Benefiting from the high dynamic range, high temporal resolution, and low energy consumption of event cameras, low-altitude economic research leveraging event cameras has become a popular topic. Several existing attempts introduce natural-language descriptions into visual place recognition (VPR) to mitigate the sparsity of structural spatial information inherent to event cameras. Nevertheless, these methods still fail to fully address two core challenges: effectively encoding event streams and semantically aligning event streams with text. In this paper, we propose a multi-scale spatial-temporal optimal transport approach, MSTOT-EPR, to address these challenges. Specifically, given event streams and scene text information, we first adopt a visual encoder and a text encoder to extract respective feature representations. We then apply optimal-transport constraints to achieve cross-modal alignment. We then design a cross-modal bottleneck fusion module to further fuse bimodal features. Furthermore, we develop multi-scale spatial optimal transport and inter-frame temporal optimal transport modules to mine high-quality spatial-temporal event features for scene recognition. Extensive experiments on the NYC-Event-VPR and EPRBench datasets fully validate the effectiveness of our proposed framework for event-based VPR. The source code of this paper will be released upon acceptance.
- Abstract（参考訳）: イベントカメラの高ダイナミックレンジ、高時間分解能、低エネルギー化、イベントカメラを活用した低高度経済研究などが話題となっている。
既存のいくつかの試みでは、イベントカメラ固有の構造空間情報の空間性を軽減するために、自然言語記述を視覚的位置認識(VPR)に導入している。
それでもこれらのメソッドは、イベントストリームを効果的にエンコードし、イベントストリームをテキストで意味的に整合させるという、2つの主要な課題に完全に対処することができない。
本稿では,これらの課題に対処するため,マルチスケールの時空間最適輸送手法 MSTOT-EPR を提案する。
具体的には、イベントストリームとシーンテキストの情報に基づいて、まず視覚エンコーダとテキストエンコーダを採用し、各特徴表現を抽出する。
次に、最適輸送制約を適用し、クロスモーダルアライメントを実現する。
次に、バイモーダル機能をさらに融合させるために、クロスモーダルボトルネック融合モジュールを設計する。
さらに、シーン認識のための高品質な時空間イベント特徴をマイニングするために、マルチスケールの空間的最適輸送モジュールとフレーム間時間的最適輸送モジュールを開発した。
イベントベースVPRのための提案フレームワークの有効性を,NYC-Event-VPRおよびEPRBenchデータセットで徹底的に検証した。
本論文のソースコードは受理後に公開される。
関連論文リスト
- EPRBench: A High-Quality Benchmark Dataset for Event Stream Based Visual Place Recognition [54.55914886780534]
イベントストリームに基づく視覚的位置認識(VPR)は、従来の可視光カメラの不安定性に対して、低照度、過剰露光、高速モーションといった困難な条件下で魅力的な解決策を提供する、新たな研究方向である。
イベントストリームベースのVPR用に特別に設計された高品質なベンチマークであるEPRBenchを紹介する。
EPRBenchは10Kのイベントシーケンスと65Kのイベントフレームで構成され、ハンドヘルドと車載のセットアップを使用して収集され、さまざまな視点、気象条件、照明シナリオで現実世界の課題を包括的にキャプチャする。
論文 参考訳（メタデータ） (2026-02-13T13:25:05Z) - EventSTU: Event-Guided Efficient Spatio-Temporal Understanding for Video Large Language Models [56.16721798968254]
本研究では,EventSTUという,効率的な理解のためのイベント誘導学習自由フレームワークを提案する。
時間領域において、不要な大フレームを除去するために、イベントカメラのトリガー特性を変化させる粗大なサンプリングアルゴリズムを設計する。
空間領域では,イベントの正当性をゼロコストとして活用し,空間的縮小を誘導する適応的トークンプルーニングアルゴリズムを実現する。
論文 参考訳（メタデータ） (2025-11-24T09:30:02Z) - LET-US: Long Event-Text Understanding of Scenes [23.376693904132786]
イベントカメラは、マイクロ秒レベルの時間分解能を備えたスパースで非同期なデータとしてイベントストリームを出力する。
長いイベントストリーム・テキスト理解のためのフレームワークであるLET-USを紹介する。
適応圧縮機構を用いて、重要な視覚的詳細を保存しながら入力イベントの量を削減する。
論文 参考訳（メタデータ） (2025-08-10T16:02:41Z) - Identity-Preserving Text-to-Video Generation Guided by Simple yet Effective Spatial-Temporal Decoupled Representations [131.33758144860988]
アイデンティティ保存型テキスト・ツー・ビデオ(IPT2V)生成は、一貫した人間のアイデンティティを持つ高忠実度ビデオを作成することを目的としている。
現在のエンドツーエンドフレームワークは、重要な空間的・時間的トレードオフを被る。
本稿では,表現をレイアウトの空間的特徴と運動力学の時間的特徴に分解する,シンプルで効果的な空間時空間分離フレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-07T06:54:44Z) - LaSe-E2V: Towards Language-guided Semantic-Aware Event-to-Video Reconstruction [8.163356555241322]
セマンティック・アウェアの高品質なE2V再構成を実現する新しいフレームワークであるLaSe-E2Vを提案する。
まずイベント誘導時空間アテンション(ESA)モジュールを提案する。
次に、時間的コヒーレンスを確保するためのイベント対応マスクロスと、空間的一貫性を高めるためのノイズ戦略を導入する。
論文 参考訳（メタデータ） (2024-07-08T01:40:32Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳（メタデータ） (2023-03-17T12:12:41Z) - Event Voxel Set Transformer for Spatiotemporal Representation Learning on Event Streams [19.957857885844838]
イベントカメラは、シーンをスパースで非同期なイベントストリームとして記録するニューロモルフィックな視覚センサである。
本稿では,イベントストリーム上での効率的な表現学習のためのイベントVoxel Set Transformer (EVSTr) という注目度モデルを提案する。
実験によると、EVSTrは低モデルの複雑さを維持しながら最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-03-07T12:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。