論文の概要: Finding Visual Saliency in Continuous Spike Stream
- arxiv url: http://arxiv.org/abs/2403.06233v1
- Date: Sun, 10 Mar 2024 15:15:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 07:09:28.739448
- Title: Finding Visual Saliency in Continuous Spike Stream
- Title（参考訳）: 連続スパイクストリームにおける視覚的サリエンシーの探索
- Authors: Lin Zhu, Xianzhang Chen, Xiao Wang, Hua Huang
- Abstract要約: 本稿では,連続スパイク流における視覚的塩分濃度を初めて検討する。
本稿では,フルスパイクニューラルネットワークに基づくRecurrent Spiking Transformerフレームワークを提案する。
我々のフレームワークは、スパイクストリームにおける視覚的サリエンシの強調とキャプチャにおいて、大幅に改善されている。
- 参考スコア（独自算出の注目度）: 23.591309376586835
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a bio-inspired vision sensor, the spike camera emulates the operational
principles of the fovea, a compact retinal region, by employing spike
discharges to encode the accumulation of per-pixel luminance intensity.
Leveraging its high temporal resolution and bio-inspired neuromorphic design,
the spike camera holds significant promise for advancing computer vision
applications. Saliency detection mimics the behavior of human beings and
captures the most salient region from the scenes. In this paper, we investigate
the visual saliency in the continuous spike stream for the first time. To
effectively process the binary spike stream, we propose a Recurrent Spiking
Transformer (RST) framework, which is based on a full spiking neural network.
Our framework enables the extraction of spatio-temporal features from the
continuous spatio-temporal spike stream while maintaining low power
consumption. To facilitate the training and validation of our proposed model,
we build a comprehensive real-world spike-based visual saliency dataset,
enriched with numerous light conditions. Extensive experiments demonstrate the
superior performance of our Recurrent Spiking Transformer framework in
comparison to other spike neural network-based methods. Our framework exhibits
a substantial margin of improvement in capturing and highlighting visual
saliency in the spike stream, which not only provides a new perspective for
spike-based saliency segmentation but also shows a new paradigm for full
SNN-based transformer models. The code and dataset are available at
\url{https://github.com/BIT-Vision/SVS}.
- Abstract（参考訳）: バイオインスパイアされた視覚センサとして、スパイクカメラは、スパイク放電を用いて画素当たりの輝度強度の蓄積を符号化することにより、小型の網膜領域である葉の動作原理をエミュレートする。
高時間分解能とバイオインスパイアされたニューロモルフィックデザインを活用することで、スパイクカメラはコンピュータビジョンの応用を前進させる大きな可能性を秘めている。
塩分検出は人間の行動を模倣し、シーンから最も静かな領域を捉えます。
本稿では,連続スパイク流における視覚的塩分濃度を初めて検討する。
バイナリスパイクストリームを効果的に処理するために,フルスパイクニューラルネットワークに基づくRecurrent Spiking Transformer (RST) フレームワークを提案する。
本フレームワークは,低消費電力を維持しつつ,連続時空間スパイクストリームから時空間的特徴の抽出を可能にする。
提案モデルのトレーニングと検証を容易にするため,多数の光条件に富んだ実世界のスパイクに基づくビジュアル・サリエンシ・データセットを構築した。
大規模な実験は、他のスパイクニューラルネットワークベースの手法と比較して、Recurrent Spiking Transformerフレームワークの優れた性能を示す。
私たちのフレームワークはスパイクストリームの視覚的なサリエンシーをキャプチャして強調する面で大きな改善点を示しており、スパイクベースのサリエンシーセグメンテーションの新しい視点を提供するだけでなく、フルsnベースのトランスフォーマーモデルのための新しいパラダイムも示しています。
コードとデータセットは \url{https://github.com/BIT-Vision/SVS} で公開されている。
関連論文リスト
- D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。
我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
論文 参考訳（メタデータ） (2024-06-14T14:35:44Z) - SpikeNeRF: Learning Neural Radiance Fields from Continuous Spike Stream [26.165424006344267]
スパイクカメラは、標準的なカメラよりも明確な利点がある。
スパイクカメラに依存する既存のアプローチは、しばしば最適な照明を仮定する。
スパイクカメラデータからNeRFに基づくボリュームシーン表現を導出した最初の作品であるSpikeNeRFを紹介する。
論文 参考訳（メタデータ） (2024-03-17T13:51:25Z) - SpikeReveal: Unlocking Temporal Sequences from Real Blurry Inputs with Spike Streams [44.02794438687478]
スパイクカメラは、動きの特徴を捉え、この不適切な問題を解くのに有効であることが証明されている。
既存の手法は教師付き学習パラダイムに陥り、現実のシナリオに適用した場合、顕著なパフォーマンス劣化に悩まされる。
本研究では,スパイク誘導動作の劣化に対する最初の自己教師型フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-14T15:29:09Z) - Gaze-Vector Estimation in the Dark with Temporally Encoded Event-driven
Neural Networks [2.762909189433944]
本稿では,人間とコンピュータのインタラクションからドライバの監視システムまで,様々なアプリケーションにおいて重要な課題である視線ベクトル予測の難しさに対処する。
我々の革新的なアプローチは、新しい時間的イベントエンコーディングスキームと専用ニューラルネットワークアーキテクチャを活用して、非常に低照度な条件の設定を要求するように設計されています。
我々の研究は、低照度ビデオに挑戦する際の正確な視線ベクトル予測のために、時間的に連続した符号化された画像を扱うニューラルネットワークの有用性を強調し、視線予測技術の進歩に寄与する。
論文 参考訳（メタデータ） (2024-03-05T12:18:12Z) - LEAP-VO: Long-term Effective Any Point Tracking for Visual Odometry [52.131996528655094]
本稿では,LEAP(Long-term Effective Any Point Tracking)モジュールについて述べる。
LEAPは、動的トラック推定のために、視覚的、トラック間、時間的キューと慎重に選択されたアンカーを革新的に組み合わせている。
これらの特徴に基づき,強靭な視力計測システムLEAP-VOを開発した。
論文 参考訳（メタデータ） (2024-01-03T18:57:27Z) - Video Dynamics Prior: An Internal Learning Approach for Robust Video
Enhancements [83.5820690348833]
外部トレーニングデータコーパスを必要としない低レベルの視覚タスクのためのフレームワークを提案する。
提案手法は,コヒーレンス・時間的テストの重み付けと統計内部統計を利用して,破損したシーケンスを最適化することでニューラルモジュールを学習する。
論文 参考訳（メタデータ） (2023-12-13T01:57:11Z) - Recurrent Spike-based Image Restoration under General Illumination [21.630646894529065]
スパイクカメラは、高時間分解能(2万Hz)のスパイクアレイの形で光強度を記録する、バイオインスパイアされた新しいタイプの視覚センサーである
既存のスパイクベースのアプローチは通常、シーンは十分な光強度を持つと仮定し、雨の日や夕暮れのシーンのような多くの現実のシナリオでは利用できない。
本稿では、一般的な照明下でのスパイクアレイからの鮮明な画像の復元に向けた最初の取り組みである、リカレントスパイクに基づく画像復元(RSIR)ネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-06T04:24:28Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - SCFlow: Optical Flow Estimation for Spiking Camera [50.770803466875364]
スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。
光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。
本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
論文 参考訳（メタデータ） (2021-10-08T06:16:45Z) - Cascaded Deep Video Deblurring Using Temporal Sharpness Prior [88.98348546566675]
提案アルゴリズムは主に,中間潜水フレームと潜水フレームの復元ステップから光フローを推定する。
まず、中間潜伏フレームから光フローを推定し、推定した光フローに基づいて潜伏フレームを復元する深部CNNモデルを開発する。
ビデオデブロアリングのドメイン知識を探索することで、深層CNNモデルをよりコンパクトで効率的なものにすることができることを示す。
論文 参考訳（メタデータ） (2020-04-06T09:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。