論文の概要: EI-Nexus: Towards Unmediated and Flexible Inter-Modality Local Feature Extraction and Matching for Event-Image Data

• arxiv url: http://arxiv.org/abs/2410.21743v1
• Date: Tue, 29 Oct 2024 05:10:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:39:02.394474
• Title: EI-Nexus: Towards Unmediated and Flexible Inter-Modality Local Feature Extraction and Matching for Event-Image Data
• Title（参考訳）: EI-Nexus: イベント画像データの非媒介かつフレキシブルな局所特徴抽出とマッチングを目指して
• Authors: Zhonghua Yi, Hao Shi, Qi Jiang, Kailun Yang, Ze Wang, Diyang Gu, Yufan Zhang, Kaiwei Wang,
• Abstract要約: イベントカメラは時間分解能が高く、ダイナミックレンジも高い。 EI-Nexusは,2つのモダリティ固有のキーポイント抽出器と特徴整合器を統合した,非媒介かつ柔軟なフレームワークである。
• 参考スコア（独自算出の注目度）: 25.388293431298724
• License:
• Abstract: Event cameras, with high temporal resolution and high dynamic range, have limited research on the inter-modality local feature extraction and matching of event-image data. We propose EI-Nexus, an unmediated and flexible framework that integrates two modality-specific keypoint extractors and a feature matcher. To achieve keypoint extraction across viewpoint and modality changes, we bring Local Feature Distillation (LFD), which transfers the viewpoint consistency from a well-learned image extractor to the event extractor, ensuring robust feature correspondence. Furthermore, with the help of Context Aggregation (CA), a remarkable enhancement is observed in feature matching. We further establish the first two inter-modality feature matching benchmarks, MVSEC-RPE and EC-RPE, to assess relative pose estimation on event-image data. Our approach outperforms traditional methods that rely on explicit modal transformation, offering more unmediated and adaptable feature extraction and matching, achieving better keypoint similarity and state-of-the-art results on the MVSEC-RPE and EC-RPE benchmarks. The source code and benchmarks will be made publicly available at https://github.com/ZhonghuaYi/EI-Nexus_official.
• Abstract（参考訳）: イベントカメラは、時間分解能が高く、ダイナミックレンジが高いため、モダリティ間の局所特徴抽出とイベントイメージデータのマッチングについて限定的な研究がなされている。 EI-Nexusは,2つのモダリティ固有のキーポイント抽出器と特徴整合器を統合した,非媒介かつ柔軟なフレームワークである。 視点やモダリティの変化に対するキーポイント抽出を実現するために,よく学習された画像抽出器からイベント抽出器に視点整合性を持たせるローカル特徴蒸留(LFD)を導入し,ロバストな特徴対応を確保する。 さらに、コンテキスト集約(CA)の助けを借りて、特徴マッチングにおいて顕著な拡張が観察される。 さらに、MVSEC-RPEとEC-RPEの2つのモード間特徴マッチングベンチマークを構築し、イベントイメージデータに対する相対的なポーズ推定を評価する。 我々の手法は、明示的なモーダル変換に依存した従来の手法よりも優れており、より媒介で適応可能な特徴抽出とマッチングを提供し、MVSEC-RPEとEC-RPEのベンチマークでより優れたキーポイント類似性と最先端の結果が得られる。 ソースコードとベンチマークはhttps://github.com/ZhonghuaYi/EI-Nexus_officialで公開される。

関連論文リスト

• Embracing Events and Frames with Hierarchical Feature Refinement Network for Object Detection [17.406051477690134]
  イベントカメラはスパースと非同期のイベントを出力し、これらの問題を解決する潜在的な解決策を提供する。 イベントフレーム融合のための新しい階層的特徴改善ネットワークを提案する。 本手法は, フレーム画像に15種類の汚損タイプを導入する際に, 極めて優れたロバスト性を示す。
  論文  参考訳（メタデータ） (2024-07-17T14:09:46Z)
• DiffVein: A Unified Diffusion Network for Finger Vein Segmentation and Authentication [50.017055360261665]
  DiffVeinは、静脈分割と認証タスクを同時に処理する統合拡散モデルベースのフレームワークである。 これら2つのブランチ間の機能相互作用を改善するために,2つの特別なモジュールを導入する。 このようにして、我々のフレームワークは拡散とセグメンテーションの埋め込みの間の動的相互作用を可能にする。
  論文  参考訳（メタデータ） (2024-02-03T06:49:42Z)
• Learning Image Deraining Transformer Network with Dynamic Dual Self-Attention [46.11162082219387]
  本稿では,動的二重自己アテンション(DDSA)を用いた画像デコライニング変換器を提案する。 具体的には、トップk近似計算に基づいて、最も有用な類似度値のみを選択し、スパースアテンションを実現する。 また,高品質な定位結果を得るためのより正確な表現を実現するために,新しい空間拡張フィードフォワードネットワーク(SEFN)を開発した。
  論文  参考訳（メタデータ） (2023-08-15T13:59:47Z)
• Multi-interactive Feature Learning and a Full-time Multi-modality Benchmark for Image Fusion and Segmentation [66.15246197473897]
  多モード画像融合とセグメンテーションは、自律走行とロボット操作において重要な役割を果たす。 画像融合とtextbfSegmentation のための textbfMulti-textbfinteractive textbfFeature Learning アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-08-04T01:03:58Z)
• Discriminative Co-Saliency and Background Mining Transformer for Co-Salient Object Detection [111.04994415248736]
  我々は差別的共存とバックグラウンドマイニング・トランスフォーマー・フレームワーク(DMT)を提案する。 我々は2種類の事前定義されたトークンを用いて、コントラスト誘起画素間相関モジュールとコサリエンストークン間相関モジュールを用いて、コサリエンシと背景情報をマイニングする。 3つのベンチマークデータセットの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-04-30T15:56:47Z)
• Reuse your features: unifying retrieval and feature-metric alignment [3.845387441054033]
  DRANは視覚的ローカライゼーションの3段階の機能を生成できる最初のネットワークである。 公開ベンチマークの挑戦的な条件下では、堅牢性と正確性の観点から競争性能を達成する。
  論文  参考訳（メタデータ） (2022-04-13T10:42:00Z)
• Guide Local Feature Matching by Overlap Estimation [9.387323456222823]
  OETRというTRansformerを用いた画像ペア上でのオーバーラップ推定手法を提案する。 OETRは、特徴相関の2段階のプロセスで重なり推定を行い、次いで重なり回帰を行う。 実験の結果,OETRは局所的特徴マッチング性能を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T07:11:36Z)
• DF^2AM: Dual-level Feature Fusion and Affinity Modeling for RGB-Infrared Cross-modality Person Re-identification [18.152310122348393]
  RGB-赤外線による人物再識別は、クラス内変異とモダリティの相違が原因で難しい課題である。 我々は,局所的・グローバル的特徴融合(df2)モジュールを,局所的特徴とグローバル的特徴の区別に着目して提案する。 人物画像からグローバルな特徴間の関係をさらに掘り下げるために,親和性モデリング(AM)モジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-01T03:12:56Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)
• Inter-class Discrepancy Alignment for Face Recognition [55.578063356210144]
  IA(Inter-class DiscrepancyAlignment)という統合フレームワークを提案する。 IDA-DAOは、画像と隣人の相違を考慮した類似度スコアの整合に使用される。 IDA-SSEは、GANで生成された仮想候補画像を導入することで、説得力のあるクラス間隣人を提供できます。
  論文  参考訳（メタデータ） (2021-03-02T08:20:08Z)
• Image Matching across Wide Baselines: From Paper to Practice [80.9424750998559]
  局所的な特徴とロバストな推定アルゴリズムの包括的なベンチマークを導入する。 パイプラインのモジュール構造は、さまざまなメソッドの容易な統合、構成、組み合わせを可能にします。 適切な設定で、古典的な解決策は依然として芸術の知覚された状態を上回る可能性があることを示す。
  論文  参考訳（メタデータ） (2020-03-03T15:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。