論文の概要: Unveiling the Potential of Spike Streams for Foreground Occlusion
Removal from Densely Continuous Views
- arxiv url: http://arxiv.org/abs/2307.00821v1
- Date: Mon, 3 Jul 2023 08:01:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 14:08:42.080375
- Title: Unveiling the Potential of Spike Streams for Foreground Occlusion
Removal from Densely Continuous Views
- Title（参考訳）: 厳密な連続視点からの前景閉塞除去のためのスパイクストリームの可能性
- Authors: Jiyuan Zhang, Shiyan Chen, Yajing Zheng, Zhaofei Yu, Tiejun Huang
- Abstract要約: 本研究では,1台のスパイクカメラのみを用いた連続マルチビューイメージングにより,デオクルージョン問題に対処する革新的な解決策を提案する。
スパイクカメラを素早く移動させることで、閉鎖されたシーンからのスパイクの密集した流れを継続的に捉えます。
スパイクの処理を行うために,新しいモデル textbfSpkOccNet を構築し,連続的な視点からスパイクの情報を統合する。
- 参考スコア（独自算出の注目度）: 23.10251947174782
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The extraction of a clean background image by removing foreground occlusion
holds immense practical significance, but it also presents several challenges.
Presently, the majority of de-occlusion research focuses on addressing this
issue through the extraction and synthesis of discrete images from calibrated
camera arrays. Nonetheless, the restoration quality tends to suffer when faced
with dense occlusions or high-speed motions due to limited perspectives and
motion blur. To successfully remove dense foreground occlusion, an effective
multi-view visual information integration approach is required. Introducing the
spike camera as a novel type of neuromorphic sensor offers promising
capabilities with its ultra-high temporal resolution and high dynamic range. In
this paper, we propose an innovative solution for tackling the de-occlusion
problem through continuous multi-view imaging using only one spike camera
without any prior knowledge of camera intrinsic parameters and camera poses. By
rapidly moving the spike camera, we continually capture the dense stream of
spikes from the occluded scene. To process the spikes, we build a novel model
\textbf{SpkOccNet}, in which we integrate information of spikes from continuous
viewpoints within multi-windows, and propose a novel cross-view mutual
attention mechanism for effective fusion and refinement. In addition, we
contribute the first real-world spike-based dataset \textbf{S-OCC} for
occlusion removal. The experimental results demonstrate that our proposed model
efficiently removes dense occlusions in diverse scenes while exhibiting strong
generalization.
- Abstract（参考訳）: 前庭閉塞の除去によるクリーンな背景画像の抽出は, 極めて重要な課題であるが, 課題もいくつかある。
現在、除染研究の大部分は、キャリブレーションされたカメラアレイから個別画像の抽出と合成を通じてこの問題に対処することに焦点を当てている。
しかし, 濃密な咬合や高速運動に直面すると, 視野が狭く, 動きがぼやけやすいため, 修復品質が低下する傾向がみられた。
前景の密閉をうまく除去するには、効果的な多視点視覚情報統合アプローチが必要である。
スパイクカメラを新しいタイプのニューロモルフィックセンサーとして導入することは、超高時間分解能と高ダイナミックレンジで有望な能力を提供する。
本稿では,カメラ固有のパラメータやカメラポーズを事前に知ることなく,1つのスパイクカメラのみを用いた連続マルチビュー撮影によるデクルージョン問題の解法を提案する。
スパイクカメラを素早く動かすことで、目立たないシーンからのスパイクの密集した流れを継続的に捉えます。
スパイクを処理するために,マルチウィンドウ内の連続的な視点からスパイクの情報を統合する新しいモデル \textbf{spkoccnet} を構築し,効果的な融合と精細化のための新しい相互注意機構を提案する。
さらに,最初の実世界のスパイクベースデータセットである \textbf{s-occ} を咬合除去に寄与する。
実験の結果,提案モデルは多様な場面において密集した咬合を効率的に除去し,強い一般化を示した。
関連論文リスト
- Deep Generative Adversarial Network for Occlusion Removal from a Single Image [3.5639148953570845]
本稿では,完全自動2段階畳み込みニューラルネットワークを提案する。
我々は、GANを利用して、構造とテクスチャの両方を含む現実的なコンテンツを、インペイントのための単一ショットで合成する。
論文 参考訳（メタデータ） (2024-09-20T06:00:45Z) - SpikeNeRF: Learning Neural Radiance Fields from Continuous Spike Stream [26.165424006344267]
スパイクカメラは、標準的なカメラよりも明確な利点がある。
スパイクカメラに依存する既存のアプローチは、しばしば最適な照明を仮定する。
スパイクカメラデータからNeRFに基づくボリュームシーン表現を導出した最初の作品であるSpikeNeRFを紹介する。
論文 参考訳（メタデータ） (2024-03-17T13:51:25Z) - SpikeReveal: Unlocking Temporal Sequences from Real Blurry Inputs with Spike Streams [44.02794438687478]
スパイクカメラは、動きの特徴を捉え、この不適切な問題を解くのに有効であることが証明されている。
既存の手法は教師付き学習パラダイムに陥り、現実のシナリオに適用した場合、顕著なパフォーマンス劣化に悩まされる。
本研究では,スパイク誘導動作の劣化に対する最初の自己教師型フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-14T15:29:09Z) - Finding Visual Saliency in Continuous Spike Stream [23.591309376586835]
本稿では,連続スパイク流における視覚的塩分濃度を初めて検討する。
本稿では,フルスパイクニューラルネットワークに基づくRecurrent Spiking Transformerフレームワークを提案する。
我々のフレームワークは、スパイクストリームにおける視覚的サリエンシの強調とキャプチャにおいて、大幅に改善されている。
論文 参考訳（メタデータ） (2024-03-10T15:15:35Z) - LEAP-VO: Long-term Effective Any Point Tracking for Visual Odometry [52.131996528655094]
本稿では,LEAP(Long-term Effective Any Point Tracking)モジュールについて述べる。
LEAPは、動的トラック推定のために、視覚的、トラック間、時間的キューと慎重に選択されたアンカーを革新的に組み合わせている。
これらの特徴に基づき,強靭な視力計測システムLEAP-VOを開発した。
論文 参考訳（メタデータ） (2024-01-03T18:57:27Z) - Learning Robust Multi-Scale Representation for Neural Radiance Fields
from Unposed Images [65.41966114373373]
コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。
提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
論文 参考訳（メタデータ） (2023-11-08T08:18:23Z) - Spike Stream Denoising via Spike Camera Simulation [64.11994763727631]
本稿では,スパイクカメラのユニークな回路に基づくシステマティックノイズモデルを提案する。
スパイクストリームをデノナイジングするための最初のベンチマークは、クリアな(ノイズの多い)スパイクストリームを含む。
実験の結果、DnSSは提案されたベンチマークで有望なパフォーマンスを示している。
論文 参考訳（メタデータ） (2023-04-06T14:59:48Z) - Locality-aware Channel-wise Dropout for Occluded Face Recognition [116.2355331029041]
顔認識は、特に顔が部分的に隠されている場合、制約のないシナリオでは難しいタスクである。
そこで本研究では,ニューロン群の活性化を,精巧に選択されたチャネルに落とすことによって,新しい,エレガントなオクルージョン・シミュレート法を提案する。
種々のベンチマーク実験により,提案手法は最先端の手法よりも優れた性能を示し,性能が向上した。
論文 参考訳（メタデータ） (2021-07-20T05:53:14Z) - DeepMultiCap: Performance Capture of Multiple Characters Using Sparse
Multiview Cameras [63.186486240525554]
deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。
本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
論文 参考訳（メタデータ） (2021-05-01T14:32:13Z) - Aliasing is your Ally: End-to-End Super-Resolution from Raw Image Bursts [70.80220990106467]
本発表では,空間と時間に若干異なる視点から撮影された複数の低解像度スナップショットから高分解能画像を再構成する問題に対処する。
この問題を解決するための主な課題は、(i)入力画像とサブピクセル精度の整合性、(ii)ネイティブカメラデータに対する最大限の忠実性のための生(ノイズ)画像の扱い、(iii)タスクに適した画像事前(正規化器)を設計・学習することである。
論文 参考訳（メタデータ） (2021-04-13T13:39:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。