論文の概要: Bilateral Event Mining and Complementary for Event Stream Super-Resolution
- arxiv url: http://arxiv.org/abs/2405.10037v1
- Date: Thu, 16 May 2024 12:16:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-17 14:22:13.222779
- Title: Bilateral Event Mining and Complementary for Event Stream Super-Resolution
- Title（参考訳）: イベントストリーム超解法におけるバイラテラルイベントマイニングと補完
- Authors: Zhilin Huang, Quanmin Liang, Yijie Yu, Chujun Qin, Xiawu Zheng, Kai Huang, Zikun Zhou, Wenming Yang,
- Abstract要約: Event Stream Super-Resolution (ESR) は、イベントストリームにおける空間分解能の不足に対処することを目的としている。
両イベントマイニング・補完ネットワーク(BMCNet)を提案する。
本手法は,オブジェクト認識やビデオ再構成などのイベントベース下流タスクの性能を著しく向上させる。
- 参考スコア（独自算出の注目度）: 28.254644673666903
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event Stream Super-Resolution (ESR) aims to address the challenge of insufficient spatial resolution in event streams, which holds great significance for the application of event cameras in complex scenarios. Previous works for ESR often process positive and negative events in a mixed paradigm. This paradigm limits their ability to effectively model the unique characteristics of each event and mutually refine each other by considering their correlations. In this paper, we propose a bilateral event mining and complementary network (BMCNet) to fully leverage the potential of each event and capture the shared information to complement each other simultaneously. Specifically, we resort to a two-stream network to accomplish comprehensive mining of each type of events individually. To facilitate the exchange of information between two streams, we propose a bilateral information exchange (BIE) module. This module is layer-wisely embedded between two streams, enabling the effective propagation of hierarchical global information while alleviating the impact of invalid information brought by inherent characteristics of events. The experimental results demonstrate that our approach outperforms the previous state-of-the-art methods in ESR, achieving performance improvements of over 11\% on both real and synthetic datasets. Moreover, our method significantly enhances the performance of event-based downstream tasks such as object recognition and video reconstruction. Our code is available at https://github.com/Lqm26/BMCNet-ESR.
- Abstract（参考訳）: Event Stream Super-Resolution (ESR)は、イベントストリームにおける空間分解能の不足に対処することを目的としている。
以前のESRの作業は、しばしば混合パラダイムで正および負のイベントを処理する。
このパラダイムは、各事象の特徴を効果的にモデル化し、相互に相互に相互に相互に相互に相互に関連性を考慮する能力を制限する。
本稿では,両イベントマイニング・補完ネットワーク(BMCNet)を提案する。
具体的には、各イベントの総合的なマイニングを個別に行うために、2ストリームネットワークを利用する。
本研究では,2つのストリーム間の情報交換を容易にするために,双方向情報交換(BIE)モジュールを提案する。
このモジュールは2つのストリーム間に階層的に埋め込まれており、イベント固有の特性によってもたらされる無効な情報の影響を緩和しつつ、階層的なグローバル情報の効果的な伝播を可能にする。
実験の結果,本手法はESRの従来の最先端手法よりも優れており,実データと合成データの両方で11倍以上の性能向上を実現していることがわかった。
さらに,本手法は,オブジェクト認識やビデオ再構成などのイベントベース下流タスクの性能を大幅に向上させる。
私たちのコードはhttps://github.com/Lqm26/BMCNet-ESR.comで公開されています。
関連論文リスト
- Efficient Event Stream Super-Resolution with Recursive Multi-Branch Fusion [30.746523517295007]
本稿では,正と負のイベントを分離する効率的な再帰的マルチブランチ情報融合ネットワーク(RMFNet)を提案する。
FEMは、正と負の分岐間の情報の融合と交換を効率的に促進する。
提案手法は,2.3倍の加速を伴い,合成データセットと実データセットの17%以上と31%以上の改善を実現している。
論文 参考訳（メタデータ） (2024-06-28T04:10:21Z) - Retain, Blend, and Exchange: A Quality-aware Spatial-Stereo Fusion Approach for Event Stream Recognition [57.74076383449153]
本稿では,差分融合によるイベントストリームに基づくパターン認識のための新しいデュアルストリームフレームワークEFV++を提案する。
イベントイメージとイベントボクセルという2つの共通のイベント表現を同時にモデル化する。
Bullying10kデータセットで新しい最先端のパフォーマンス、すなわち90.51%$を達成し、2位を+2.21%$で上回る。
論文 参考訳（メタデータ） (2024-06-27T02:32:46Z) - CrossZoom: Simultaneously Motion Deblurring and Event Super-Resolving [38.96663258582471]
CrossZoomは新しい統合ニューラルネットワーク(CZ-Net)で、ぼやけた入力とそれに対応する高分解能(HR)イベントの露光期間内で、シャープな潜伏シーケンスを共同で回復する。
本稿では, スケール変動特性を活用し, クロスエンハンスメントを実現するために, 相互モダリティ情報を効果的に融合する, マルチスケールのぼかし融合アーキテクチャを提案する。
本稿では,HRシャープブル画像とそれに対応するHR-LRイベントストリームを含む新しいデータセットを提案する。
論文 参考訳（メタデータ） (2023-09-29T03:27:53Z) - A Dual-Stream Recurrence-Attention Network With Global-Local Awareness
for Emotion Recognition in Textual Dialog [41.72374101704424]
本稿では,DualRAN(Dualstream Recurrence-Attention Network)を提案する。
DualRANは、現在のメソッドの複雑なコンポーネントを排除し、繰り返しベースのメソッドと注意ベースのメソッドを組み合わせることに焦点を当てている。
重み付きF1スコアは,IEMOCAPとMELDデータセットでそれぞれ1.43%,0.64%向上している。
論文 参考訳（メタデータ） (2023-07-02T01:25:47Z) - Abnormal Event Detection via Hypergraph Contrastive Learning [54.80429341415227]
異常事象検出は多くの実アプリケーションにおいて重要な役割を果たす。
本稿では,分散異種情報ネットワークにおける異常事象検出問題について検討する。
AEHCLと呼ばれる新しいハイパーグラフコントラスト学習法が,異常事象のパターンをフルに捉えるために提案されている。
論文 参考訳（メタデータ） (2023-04-02T08:23:20Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳（メタデータ） (2023-03-17T12:12:41Z) - Event Voxel Set Transformer for Spatiotemporal Representation Learning
on Event Streams [23.872611710730865]
イベントカメラは、視覚情報をスパースおよび非同期イベントストリームとして表現するニューロモルフィック視覚センサである。
本研究では,イベントストリーム上での表現学習のためのイベントVoxel Set Transformer (EVSTr) という新しい注意認識モデルを開発した。
オブジェクト分類と行動認識という2つのイベントベース認識タスクにおいて,提案したモデルを評価する。
論文 参考訳（メタデータ） (2023-03-07T12:48:02Z) - Learning Constraints and Descriptive Segmentation for Subevent Detection [74.48201657623218]
本稿では,サブイベント検出とEventSeg予測の依存関係をキャプチャする制約を学習し,強制するアプローチを提案する。
我々は制約学習にRectifier Networksを採用し、学習した制約をニューラルネットワークの損失関数の正規化項に変換する。
論文 参考訳（メタデータ） (2021-09-13T20:50:37Z) - Full-Duplex Strategy for Video Object Segmentation [141.43983376262815]
Full- Strategy Network (FSNet)はビデオオブジェクトセグメンテーション(VOS)のための新しいフレームワークである
我々のFSNetは、融合復号ステージの前に、クロスモーダルな機能パス(すなわち、送信と受信)を同時に実行します。
我々のFSNetは、VOSとビデオの有能なオブジェクト検出タスクの両方において、他の最先端技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-08-06T14:50:50Z) - Cross-modal Consensus Network for Weakly Supervised Temporal Action
Localization [74.34699679568818]
時間的行動局所化 (WS-TAL) は、ビデオレベルの分類的監督によって、ビデオ内のアクションインスタンスをローカライズすることを目的とした課題である。
この問題に対処するためのクロスモーダルコンセンサスネットワーク(CO2-Net)を提案する。
論文 参考訳（メタデータ） (2021-07-27T04:21:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。