論文の概要: Detecting Line Segments in Motion-blurred Images with Events

• arxiv url: http://arxiv.org/abs/2211.07365v1
• Date: Mon, 14 Nov 2022 14:00:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 18:43:13.734002
• Title: Detecting Line Segments in Motion-blurred Images with Events
• Title（参考訳）: イベントによる動きブル画像の線分検出
• Authors: Huai Yu, Hao Li, Wen Yang, Lei Yu, Gui-Song Xia
• Abstract要約: 既存のラインセグメント検出方法は、動きのぼやけが発生したときにラインセグメントを検出する際に、厳しい性能劣化に直面している。 本稿では,画像やイベントの相補的な情報を利用して,動きのぼやけた線分を頑健に検出することを提案する。 提案手法は, FE-Wireframeで事前学習し, FE-Blurframeで微調整したモデルを用いて, 平均構造平均精度(msAP)を63.3%向上させる。
• 参考スコア（独自算出の注目度）: 38.39698414942873
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Making line segment detectors more reliable under motion blurs is one of the most important challenges for practical applications, such as visual SLAM and 3D reconstruction. Existing line segment detection methods face severe performance degradation for accurately detecting and locating line segments when motion blur occurs. While event data shows strong complementary characteristics to images for minimal blur and edge awareness at high-temporal resolution, potentially beneficial for reliable line segment recognition. To robustly detect line segments over motion blurs, we propose to leverage the complementary information of images and events. To achieve this, we first design a general frame-event feature fusion network to extract and fuse the detailed image textures and low-latency event edges, which consists of a channel-attention-based shallow fusion module and a self-attention-based dual hourglass module. We then utilize two state-of-the-art wireframe parsing networks to detect line segments on the fused feature map. Besides, we contribute a synthetic and a realistic dataset for line segment detection, i.e., FE-Wireframe and FE-Blurframe, with pairwise motion-blurred images and events. Extensive experiments on both datasets demonstrate the effectiveness of the proposed method. When tested on the real dataset, our method achieves 63.3% mean structural average precision (msAP) with the model pre-trained on the FE-Wireframe and fine-tuned on the FE-Blurframe, improved by 32.6 and 11.3 points compared with models trained on synthetic only and real only, respectively. The codes, datasets, and trained models are released at: https://levenberg.github.io/FE-LSD
• Abstract（参考訳）: ラインセグメント検出器を動きのぼかしの下で信頼性を高めることは、視覚的SLAMや3D再構成など、実用的な応用において最も重要な課題の1つである。 既存の線分検出方法は、動きのぼけが発生したときに線分を正確に検出し、位置決めする、厳しい性能劣化に直面している。 事象データは画像に強い相補的特徴を示すが、高時間分解能において最小のぼかしとエッジ認識は信頼性の高い線分認識に有用である。 動きのぼやき上の線分をロバストに検出するために,画像とイベントの補完的情報を活用することを提案する。 これを実現するために,我々はまず,詳細な画像テクスチャと低遅延イベントエッジを抽出・融合する汎用フレームイベント機能融合ネットワークを設計し,チャネルアテンションベースの浅層融合モジュールと自己アテンションベースのデュアルアワーグラスモジュールからなる。 次に2つの最先端のワイヤフレーム解析ネットワークを用いて,融合特徴マップ上の線分を検出する。 さらに,FE-Wireframe や FE-Blurframe といった線分検出のための合成および現実的なデータセットを,一対の動画やイベントで提供する。 両データセットの広範な実験により,提案手法の有効性が示された。 実データを用いた場合,本手法は, FE-Wireframeで事前学習したモデルを用いて平均構造平均精度(msAP)を63.3%, FE-Blurframeで微調整したモデルに対して32.6, 11.3ポイント向上した。 コード、データセット、トレーニングされたモデルは以下の通りである。

関連論文リスト

• 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
  3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。 拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。 さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-07T23:46:41Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• Implicit Ray-Transformers for Multi-view Remote Sensing Image Segmentation [26.726658200149544]
  スパースラベル付きRSシーンセマンティックセグメンテーションのためのインプリシティ・ニューラル表現(INR)に基づく「インプリシティ・レイ・トランスフォーマ(IRT)」を提案する。 提案手法は,2段階の学習プロセスを含む。第1段階では,リモートセンシングシーンの色と3次元構造を符号化するために,ニューラルネットワークを最適化する。 第2段階では、ニューラルネットワークの3D特徴と2Dテクスチャ特徴の関係を利用して、より優れた意味表現を学習するレイ変換器を設計する。
  論文  参考訳（メタデータ） (2023-03-15T07:05:07Z)
• FFPA-Net: Efficient Feature Fusion with Projection Awareness for 3D Object Detection [19.419030878019974]
  構造化されていない3D点雲は2D平面に充填され、3D点雲はプロジェクション対応の畳み込み層を用いて高速に抽出される。 データ前処理において、異なるセンサ信号間の対応するインデックスを予め設定する。 2つの新しいプラグアンドプレイ融合モジュールLiCamFuseとBiLiCamFuseが提案されている。
  論文  参考訳（メタデータ） (2022-09-15T16:13:19Z)
• Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for Temporal Sentence Grounding [61.57847727651068]
  テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。 これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。 我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T13:57:09Z)
• FusionPainting: Multimodal Fusion with Adaptive Attention for 3D Object Detection [15.641616738865276]
  本稿では,2次元RGB画像と3次元点群をセマンティックレベルで融合させて3次元物体検出タスクを増強する汎用多モード核融合フレームワークFusionPaintingを提案する。 特にFusionPaintingフレームワークは、マルチモーダルセマンティックセグメンテーションモジュール、アダプティブアテンションベースのセマンティックフュージョンモジュール、および3Dオブジェクト検出器の3つの主要モジュールで構成されている。 提案手法の有効性を,大規模なnuScenes検出ベンチマークで検証した。
  論文  参考訳（メタデータ） (2021-06-23T14:53:22Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• Seismic Fault Segmentation via 3D-CNN Training by a Few 2D Slices Labels [6.963867115353744]
  我々は3次元地震データから2次元スライスをサンプリングし,新しい2次元クロスエントロピーと滑らかなL1損失を3D-CNNの訓練に適用する。 実験により,実データから2次元スライスラベルから3次元地震特性を抽出し,断層容積を分割できることを示した。
  論文  参考訳（メタデータ） (2021-05-09T07:13:40Z)
• ULSD: Unified Line Segment Detection across Pinhole, Fisheye, and Spherical Cameras [17.943949895764938]
  ラインセグメント検出は、コンピュータビジョンとロボット工学におけるハイレベルなタスクに不可欠である。 現在、ほとんどの最新技術(SOTA)法は、歪みのないピンホール画像の直線部分の検出に特化している。 本稿では,歪み画像と歪画像の両方に対して,統一ラインセグメント検出(ULSD)を目標とする。
  論文  参考訳（メタデータ） (2020-11-06T03:30:17Z)
• Cross-Modality 3D Object Detection [63.29935886648709]
  本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。 アーキテクチャ全体が2段階の融合を促進する。 KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-08-16T11:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。