論文の概要: Uncertainty-aware Bridge based Mobile-Former Network for Event-based Pattern Recognition

• arxiv url: http://arxiv.org/abs/2401.11123v1
• Date: Sat, 20 Jan 2024 05:26:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 17:58:18.874081
• Title: Uncertainty-aware Bridge based Mobile-Former Network for Event-based Pattern Recognition
• Title（参考訳）: 不確実性アウェアブリッジを用いたイベント型パターン認識のためのモバイルフォーマネットワーク
• Authors: Haoxiang Yang, Chengguo Yuan, Yabin Zhu, Lan Chen, Xiao Wang, Jin Tang
• Abstract要約: イベントカメラは高いダイナミックレンジ、動きのぼやけがなく、消費電力も少ない。 パターン認識を効率化する軽量な不確実性対応情報伝搬方式Mobile-Formerネットワークを提案する。
• 参考スコア（独自算出の注目度）: 16.031500163746628
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The mainstream human activity recognition (HAR) algorithms are developed based on RGB cameras, which are easily influenced by low-quality images (e.g., low illumination, motion blur). Meanwhile, the privacy protection issue caused by ultra-high definition (HD) RGB cameras aroused more and more people's attention. Inspired by the success of event cameras which perform better on high dynamic range, no motion blur, and low energy consumption, we propose to recognize human actions based on the event stream. We propose a lightweight uncertainty-aware information propagation based Mobile-Former network for efficient pattern recognition, which aggregates the MobileNet and Transformer network effectively. Specifically, we first embed the event images using a stem network into feature representations, then, feed them into uncertainty-aware Mobile-Former blocks for local and global feature learning and fusion. Finally, the features from MobileNet and Transformer branches are concatenated for pattern recognition. Extensive experiments on multiple event-based recognition datasets fully validated the effectiveness of our model. The source code of this work will be released at https://github.com/Event-AHU/Uncertainty_aware_MobileFormer.
• Abstract（参考訳）: 主流のヒューマンアクティビティ認識(HAR)アルゴリズムはRGBカメラに基づいて開発されており、低画質の画像(例えば、低照度、動きのぼかし)の影響を受けやすい。 一方、超高解像度(HD)RGBカメラによるプライバシー保護問題は、ますます人々の注意を喚起した。 高ダイナミックレンジ、運動のぼやけのない、エネルギー消費の少ないイベントカメラの成功に触発されて、イベントストリームに基づいて人間の行動を認識することを提案する。 本研究では,モバイルネットとトランスフォーマネットワークを効率的に集約する効率的なパターン認識のための,軽量な不確実性認識型モバイルフォーマネットワークを提案する。 具体的には,まず幹ネットワークを用いてイベントイメージを特徴表現に埋め込み,不確実性を認識したMobile-Formerブロックに入力し,局所的およびグローバルな特徴学習と融合を行う。 最後に、MobileNetとTransformerブランチの機能はパターン認識のために結合される。 複数のイベントベースの認識データセットに対する大規模な実験は、我々のモデルの有効性を十分に検証した。 この作業のソースコードはhttps://github.com/Event-AHU/Uncertainty_aware_MobileFormerで公開される。

関連論文リスト

• SpikMamba: When SNN meets Mamba in Event-based Human Action Recognition [13.426390494116776]
  人間の行動認識(HAR)は、ビデオ分析、監視、自律運転、ロボット工学、医療など、様々な分野で重要な役割を果たしている。 ほとんどのHARアルゴリズムは、詳細な視覚情報をキャプチャするRGB画像から開発されている。 イベントカメラは、全画像を撮影することなく、ピクセルレベルでのシーンの明るさ変化をわずかに捉えることで、有望な解決策を提供する。
  論文  参考訳（メタデータ） (2024-10-22T07:00:43Z)
• DemosaicFormer: Coarse-to-Fine Demosaicing Network for HybridEVS Camera [70.28702677370879]
  Hybrid Event-Based Vision Sensor (HybridEVS)は、従来のフレームベースとイベントベースのセンサーを統合する新しいセンサーである。 その可能性にもかかわらず、ハイブリッドEVS用に特別に設計された画像信号処理(ISP)パイプラインの欠如は大きな課題である。 粗大な復調と画素補正を含む,粗大で微細なフレームワークであるDemosaicFormerを提案する。
  論文  参考訳（メタデータ） (2024-06-12T07:20:46Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• SSTFormer: Bridging Spiking Neural Network and Memory Support Transformer for Frame-Event based Recognition [42.118434116034194]
  本稿では,RGBフレームとイベントストリームを同時に融合してパターンを認識することを提案する。 RGB-Eventベースの分類データセットが不足しているため、大規模なPokerEventデータセットも提案する。
  論文  参考訳（メタデータ） (2023-08-08T16:15:35Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• HARDVS: Revisiting Human Activity Recognition with Dynamic Vision Sensors [40.949347728083474]
  人間の活動認識(HAR)アルゴリズムの主なストリームは、照明、高速な動き、プライバシー保護、大規模なエネルギー消費に苦しむRGBカメラに基づいて開発されている。 一方、生物学的にインスパイアされたイベントカメラは、高いダイナミックレンジ、密集した時空間分解能、低レイテンシ、低電力などの特徴により、大きな関心を集めている。 新たに発生するセンサであるため、HAR用の現実的な大規模データセットも存在しない。 我々は300のカテゴリと100万以上のイベントシーケンスを含む大規模ベンチマークデータセットHARDVSを提案する。
  論文  参考訳（メタデータ） (2022-11-17T16:48:50Z)
• Differentiable Frequency-based Disentanglement for Aerial Video Action Recognition [56.91538445510214]
  ビデオにおける人間の行動認識のための学習アルゴリズムを提案する。 我々のアプローチは、主に斜めに配置されたダイナミックカメラから取得されるUAVビデオのために設計されている。 我々はUAV HumanデータセットとNEC Droneデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-09-15T22:16:52Z)
• MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
  従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。 バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。 本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
  論文  参考訳（メタデータ） (2021-11-30T23:18:35Z)
• Bridging the Gap between Events and Frames through Unsupervised Domain Adaptation [57.22705137545853]
  本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。 生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。 われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
  論文  参考訳（メタデータ） (2021-09-06T17:31:37Z)
• AWNet: Attentive Wavelet Network for Image ISP [14.58067200317891]
  本稿では,この学習可能な画像ISP問題に対処するために,AWNetと呼ばれるアテンション機構とウェーブレット変換を利用する新しいネットワークを提案する。 提案手法により,RAW情報から好意的な画像の詳細を復元し,より広い受容領域を実現することができる。 実験結果から,定性的,定量的両測定における設計の進歩が示唆された。
  論文  参考訳（メタデータ） (2020-08-20T23:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。