論文の概要: ClearSight: Human Vision-Inspired Solutions for Event-Based Motion Deblurring

• arxiv url: http://arxiv.org/abs/2501.15808v1
• Date: Mon, 27 Jan 2025 06:28:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:56:18.539214
• Title: ClearSight: Human Vision-Inspired Solutions for Event-Based Motion Deblurring
• Title（参考訳）: ClearSight: 人間の視覚にインスパイアされた、イベントベースのモーションデブロアリングのソリューション
• Authors: Xiaopeng Lin, Yulong Huang, Hongwei Ren, Zunchang Liu, Yue Zhou, Haotian Fu, Bojun Cheng,
• Abstract要約: 本研究はバイオインスパイアされたデュアルドライブハイブリッドネットワーク(BDHNet)を紹介する。 ヒト視覚系における視覚的注意機構にインスパイアされた本研究では、バイオインスパイアされたデュアルドライブハイブリッドネットワーク(BDHNet)を導入する。
• 参考スコア（独自算出の注目度）: 5.827705323847176
• License:
• Abstract: Motion deblurring addresses the challenge of image blur caused by camera or scene movement. Event cameras provide motion information that is encoded in the asynchronous event streams. To efficiently leverage the temporal information of event streams, we employ Spiking Neural Networks (SNNs) for motion feature extraction and Artificial Neural Networks (ANNs) for color information processing. Due to the non-uniform distribution and inherent redundancy of event data, existing cross-modal feature fusion methods exhibit certain limitations. Inspired by the visual attention mechanism in the human visual system, this study introduces a bioinspired dual-drive hybrid network (BDHNet). Specifically, the Neuron Configurator Module (NCM) is designed to dynamically adjusts neuron configurations based on cross-modal features, thereby focusing the spikes in blurry regions and adapting to varying blurry scenarios dynamically. Additionally, the Region of Blurry Attention Module (RBAM) is introduced to generate a blurry mask in an unsupervised manner, effectively extracting motion clues from the event features and guiding more accurate cross-modal feature fusion. Extensive subjective and objective evaluations demonstrate that our method outperforms current state-of-the-art methods on both synthetic and real-world datasets.
• Abstract（参考訳）: 動きの鈍化は、カメラやシーンの動きによって引き起こされる画像のぼかしの課題に対処する。 イベントカメラは、非同期イベントストリームにエンコードされたモーション情報を提供する。 イベントストリームの時間情報を効率的に活用するために,動作特徴抽出にスパイキングニューラルネットワーク(SNN),カラー情報処理に人工ニューラルネットワーク(ANN)を用いる。 イベントデータの非一様分布と固有の冗長性のため、既存のクロスモーダル特徴融合法には一定の制限がある。 本研究は,人間の視覚系における視覚的注意機構に触発され,バイオインスパイアされたデュアルドライブハイブリッドネットワーク(BDHNet)を導入する。 具体的には、ニューロン構成モジュール(NCM)は、クロスモーダルな特徴に基づいてニューロン構成を動的に調整し、ぼやけた領域のスパイクに集中し、様々なぼやけたシナリオに動的に適応するように設計されている。 さらに、Blurry Attention Module (RBAM) を導入し、教師なしの方法でぼやけたマスクを生成し、イベントの特徴から動きの手がかりを効果的に抽出し、より正確なクロスモーダルな特徴融合を導く。 広範囲な主観的および客観的評価により,本手法は,合成と実世界の両方のデータセットにおいて,最先端の手法よりも優れていることが示された。

関連論文リスト

• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• Non-Uniform Exposure Imaging via Neuromorphic Shutter Control [9.519068512865463]
  動作のぼやけを回避し,瞬時雑音を軽減する新しいニューロモルフィックシャッター制御(NSC)システムを提案する。 本稿では,SNR(Inconsistent Signal-to-Noise Ratio)を安定化させるために,自己教師付き学習パラダイム内でのイベントベース画像復調ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-04-22T08:28:41Z)
• Neuromorphic Vision-based Motion Segmentation with Graph Transformer Neural Network [4.386534439007928]
  本稿では,GTNNと呼ばれるグラフトランスフォーマーニューラルネットワークを用いたイベントベース動作分割アルゴリズムを提案する。 提案アルゴリズムは, イベント間の局所的および大域的相関を明らかにするために, 一連の非線形変換により, イベントストリームを3次元グラフとして処理する。 GTNNは、動的背景変動、動きパターン、および様々な大きさと速度を持つ複数の動的物体の存在下で、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-16T22:44:29Z)
• TrackDiffusion: Tracklet-Conditioned Video Generation via Diffusion Models [75.20168902300166]
  微粒な軌跡条件の運動制御が可能な新しい映像生成フレームワークであるTrackDiffusionを提案する。 TrackDiffusionの重要なコンポーネントは、複数のオブジェクトのフレーム間の一貫性を明確に保証するインスタンスエンハンサーである。 TrackDiffusionによって生成されたビデオシーケンスは、視覚知覚モデルのトレーニングデータとして使用できる。
  論文  参考訳（メタデータ） (2023-12-01T15:24:38Z)
• Amortized Network Intervention to Steer the Excitatory Point Processes [8.15558505134853]
  動的グラフ上に発生する励起点過程(すなわちイベントフロー)は、時間と空間を通じて離散事象がどのように広がるかを把握するためのきめ細かいモデルを提供する。 動的グラフ構造を変更してイベントフローを効果的に操縦する方法は、感染症の拡散を抑制する動機となる興味深い問題である。 我々はAmortized Network Interventionsフレームワークを設計し、履歴やその他のコンテキストから最適なポリシーをプールできるようにする。
  論文  参考訳（メタデータ） (2023-10-06T11:17:28Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• Learning What and Where -- Unsupervised Disentangling Location and Identity Tracking [0.44040106718326594]
  教師なしLOCation and Identity Tracking System(Loci)を導入する。 ローチは脳の背腹側経路にインスパイアされ、自己監督された分離機構を用いて、何とどこにも結合する問題に取り組む。 Lociは、より深い説明指向のビデオ処理のステージを設定できる。
  論文  参考訳（メタデータ） (2022-05-26T13:30:14Z)
• Learning Multi-Granular Spatio-Temporal Graph Network for Skeleton-based Action Recognition [49.163326827954656]
  骨格に基づく行動分類のための新しい多言語時空間グラフネットワークを提案する。 2つの枝の枝からなるデュアルヘッドグラフネットワークを開発し、少なくとも2つの時間分解能を抽出する。 3つの大規模データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-08-10T09:25:07Z)
• End-to-end Multi-modal Video Temporal Grounding [105.36814858748285]
  ビデオから補完情報を抽出するマルチモーダルフレームワークを提案する。 我々は、外見にRGB画像、運動に光学フロー、画像構造に深度マップを採用する。 本稿では、Charades-STAおよびActivityNet Captionsデータセットの実験を行い、提案手法が最先端のアプローチに対して好適に動作することを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:10Z)
• Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
  イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。 この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
  論文  参考訳（メタデータ） (2020-12-16T04:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。