論文の概要: Event USKT : U-State Space Model in Knowledge Transfer for Event Cameras

• arxiv url: http://arxiv.org/abs/2411.15276v1
• Date: Fri, 22 Nov 2024 15:13:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:46.054171
• Title: Event USKT : U-State Space Model in Knowledge Transfer for Event Cameras
• Title（参考訳）: イベントUSKT : イベントカメラの知識伝達におけるU状態空間モデル
• Authors: Yuhui Lin, Jiahao Zhang, Siyuan Li, Jimin Xiao, Ding Xu, Wenjun Wu, Jiaxuan Lu,
• Abstract要約: イベントカメラは、消費電力の削減やフレームレートの向上など、従来のRGBカメラよりも明確な利点がある。 イベント・ツー・RGBの知識伝達のためのU字型状態空間モデル知識伝達フレームワークを提案する。 このフレームワークは、RGBフレームと互換性のある入力を生成し、イベントデータがトレーニング済みのRGBモデルを効果的に再利用できるようにする。
• 参考スコア（独自算出の注目度）: 40.17409007926601
• License:
• Abstract: Event cameras, as an emerging imaging technology, offer distinct advantages over traditional RGB cameras, including reduced energy consumption and higher frame rates. However, the limited quantity of available event data presents a significant challenge, hindering their broader development. To alleviate this issue, we introduce a tailored U-shaped State Space Model Knowledge Transfer (USKT) framework for Event-to-RGB knowledge transfer. This framework generates inputs compatible with RGB frames, enabling event data to effectively reuse pre-trained RGB models and achieve competitive performance with minimal parameter tuning. Within the USKT architecture, we also propose a bidirectional reverse state space model. Unlike conventional bidirectional scanning mechanisms, the proposed Bidirectional Reverse State Space Model (BiR-SSM) leverages a shared weight strategy, which facilitates efficient modeling while conserving computational resources. In terms of effectiveness, integrating USKT with ResNet50 as the backbone improves model performance by 0.95%, 3.57%, and 2.9% on DVS128 Gesture, N-Caltech101, and CIFAR-10-DVS datasets, respectively, underscoring USKT's adaptability and effectiveness. The code will be made available upon acceptance.
• Abstract（参考訳）: イベントカメラは、新しい画像技術として、エネルギー消費の削減やフレームレートの向上など、従来のRGBカメラよりも明確な利点がある。 しかし、利用可能なイベントデータの量が限られていることは、その広範な開発を妨げる重要な課題である。 この問題を軽減するために,イベント・ツー・RGBの知識伝達のためのU字型状態空間モデル知識伝達(USKT)フレームワークを導入する。 このフレームワークは、RGBフレームと互換性のある入力を生成し、イベントデータがトレーニング済みのRGBモデルを効果的に再利用し、最小パラメータチューニングで競合性能を実現する。 また,USKTアーキテクチャ内では双方向の逆状態空間モデルも提案する。 従来の双方向走査機構とは異なり、提案された双方向逆状態空間モデル(Bi direction Reverse State Space Model, BiR-SSM)は、計算資源を保存しながら効率的なモデリングを容易にする共有重み戦略を利用する。 有効性に関しては、USKTとResNet50をバックボーンとして統合することで、DVS128 Gesture、N-Caltech101、CIFAR-10-DVSデータセットのモデル性能は、それぞれ0.95%、3.57%、および2.9%向上する。 コードは受理時に利用可能になる。

関連論文リスト

• TENet: Targetness Entanglement Incorporating with Multi-Scale Pooling and Mutually-Guided Fusion for RGB-E Object Tracking [30.89375068036783]
  既存のアプローチでは、従来の外観モデルを用いて、RGB-E追跡のためのイベント特徴抽出を行う。 本稿では,イベントデータ固有の特徴を認識可能な高品質な特徴表現を実現するために,イベントバックボーン(Pooler)を提案する。 提案手法は,2つの広く使用されているRGB-E追跡データセットにおいて,最先端トラッカーを著しく上回っている。
  論文  参考訳（メタデータ） (2024-05-08T12:19:08Z)
• TUMTraf Event: Calibration and Fusion Resulting in a Dataset for Roadside Event-Based and RGB Cameras [14.57694345706197]
  インテリジェントトランスポーテーションシステム(ITS)のイベントベースカメラ 非常に高い時間分解能とダイナミックレンジを提供し、動きのぼやけをなくし、夜間の検知性能を向上させることができる。 しかし、イベントベースの画像は従来のRGBカメラの画像と比べて色やテクスチャが欠けている。
  論文  参考訳（メタデータ） (2024-01-16T16:25:37Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• Chasing Day and Night: Towards Robust and Efficient All-Day Object Detection Guided by an Event Camera [8.673063170884591]
  EOLOは、RGBとイベントモダリティの両方を融合させることで、堅牢で効率的な全日検出を実現する、新しいオブジェクト検出フレームワークである。 我々のEOLOフレームワークは、イベントの非同期特性を効率的に活用するために、軽量スパイキングニューラルネットワーク(SNN)に基づいて構築されている。
  論文  参考訳（メタデータ） (2023-09-17T15:14:01Z)
• Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
  我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。 提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。 現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
  論文  参考訳（メタデータ） (2023-09-15T14:19:36Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• DA4Event: towards bridging the Sim-to-Real Gap for Event Cameras using Domain Adaptation [22.804074390795734]
  イベントカメラは「イベント」の形でピクセルレベルの強度変化を捉えます これらのセンサーの新規性は、その可能性を解き放つことができる大量のトレーニングデータの欠如をもたらす。 本稿では,フレームベースのイベント表現の特質を活かした新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-03-23T18:09:20Z)
• DUT-LFSaliency: Versatile Dataset and Light Field-to-RGB Saliency Detection [104.50425501764806]
  ライトフィールドサリエンシー検出のための汎用性の高いアプリケーションを可能にする大規模なデータセットを紹介します。 本論文では,フォカルストリームとRGBストリームからなる非対称2ストリームモデルを提案する。 実験は、我々の焦点ストリームが最先端のパフォーマンスを達成することを実証する。
  論文  参考訳（メタデータ） (2020-12-30T11:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。