論文の概要: OAFuser: Towards Omni-Aperture Fusion for Light Field Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2307.15588v3
- Date: Mon, 9 Sep 2024 08:28:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 04:13:49.976088
- Title: OAFuser: Towards Omni-Aperture Fusion for Light Field Semantic Segmentation
- Title（参考訳）: OAFuser:光電場セマンティックセグメンテーションのためのOmni-Aperture Fusionを目指して
- Authors: Fei Teng, Jiaming Zhang, Kunyu Peng, Yaonan Wang, Rainer Stiefelhagen, Kailun Yang,
- Abstract要約: 我々は,Omni-Aperture Fusion Model (OAFuser) を提案する。
提案したOAFuserは,すべての評価指標から4つのUrbanLFデータセット上での最先端のパフォーマンスを実現する。
- 参考スコア（独自算出の注目度）: 48.828453331724965
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Light field cameras are capable of capturing intricate angular and spatial details. This allows for acquiring complex light patterns and details from multiple angles, significantly enhancing the precision of image semantic segmentation. However, two significant issues arise: (1) The extensive angular information of light field cameras contains a large amount of redundant data, which is overwhelming for the limited hardware resources of intelligent agents. (2) A relative displacement difference exists in the data collected by different micro-lenses. To address these issues, we propose an Omni-Aperture Fusion model (OAFuser) that leverages dense context from the central view and extracts the angular information from sub-aperture images to generate semantically consistent results. To simultaneously streamline the redundant information from the light field cameras and avoid feature loss during network propagation, we present a simple yet very effective Sub-Aperture Fusion Module (SAFM). This module efficiently embeds sub-aperture images in angular features, allowing the network to process each sub-aperture image with a minimal computational demand of only (around 1GFlops). Furthermore, to address the mismatched spatial information across viewpoints, we present a Center Angular Rectification Module (CARM) to realize feature resorting and prevent feature occlusion caused by misalignment. The proposed OAFuser achieves state-of-the-art performance on four UrbanLF datasets in terms of all evaluation metrics and sets a new record of 84.93% in mIoU on the UrbanLF-Real Extended dataset, with a gain of +3.69%. The source code for OAFuser is available at https://github.com/FeiBryantkit/OAFuser.
- Abstract（参考訳）: 光界カメラは、複雑な角と空間の細部を捉えることができる。
これにより、複数の角度から複雑な光パターンや詳細を取得でき、画像セマンティックセグメンテーションの精度を大幅に向上させることができる。
しかし、2つの大きな問題が生じる: (1) 視野カメラの広範囲な角情報には大量の冗長データが含まれており、これは知的エージェントの限られたハードウェアリソースにとって圧倒的である。
2) 異なるマイクロレンズで収集したデータには相対変位差が存在する。
これらの問題に対処するために、中央から密集したコンテキストを活用し、サブアパーチャ画像から角情報を抽出し、意味的に一貫した結果を生成するOmni-Aperture Fusion Model (OAFuser)を提案する。
光電界カメラからの冗長な情報の合理化とネットワーク伝搬時の特徴損失の回避を同時に行うため,単純なサブアパーチャ・フュージョン・モジュール(SAFM)を提案する。
このモジュールは、角の特徴にサブアパーチャ画像を効率よく埋め込むことができ、各サブアパーチャ画像を最小の計算需要(約1GFlops)で処理することができる。
さらに,不整合な空間情報に視点をまたいで対処するため,不整合による特徴の活用と特徴の排除を防止するためにCARM(Central Angular Rectification Module)を提案する。
提案したOAFuserは、すべての評価指標から4つのUrbanLFデータセットの最先端のパフォーマンスを達成し、UrbanLF-Real Extendedデータセットの84.93%の新しい記録を+3.69%とした。
OAFuserのソースコードはhttps://github.com/FeiBryantkit/OAFuserで入手できる。
関連論文リスト
- LFSamba: Marry SAM with Mamba for Light Field Salient Object Detection [9.787855464038673]
光界カメラは、リッチな空間幾何学情報を含むキャプチャされた多焦点画像を用いて3Dシーンを再構成することができる。
本研究では,LFSambaと呼ばれる多焦点光場画像に対する最先端のサルエント物体検出モデルを提案する。
論文 参考訳（メタデータ） (2024-11-11T01:37:32Z) - FusionMamba: Efficient Remote Sensing Image Fusion with State Space Model [35.57157248152558]
現在のディープラーニング(DL)手法は、典型的には、特徴抽出と情報統合のために畳み込みニューラルネットワーク(CNN)またはトランスフォーマーを使用する。
本研究では,効率的なリモートセンシング画像融合法であるFusionMambaを提案する。
論文 参考訳（メタデータ） (2024-04-11T17:29:56Z) - LF Tracy: A Unified Single-Pipeline Approach for Salient Object Detection in Light Field Cameras [21.224449211575646]
LF Salient Object Detection (SOD) タスクで見落とされた2つの問題を特定した。
従来のアプローチでは、主に光界画像内の空間的・深度的特徴を発見するために、カスタマイズされた2ストリーム設計を採用していた。
ネットワークは、ネットワーク内のデータ接続の欠如により、異なる画像間で暗黙の角情報を学ぶのに苦労している。
これらの問題に対処するための効率的なパラダイム(LF Tracy)を提案する。
論文 参考訳（メタデータ） (2024-01-30T03:17:02Z) - Beyond Subspace Isolation: Many-to-Many Transformer for Light Field
Image Super-resolution [5.277207972856879]
本稿では,光フィールド画像超解像処理のための新しいM2MTを提案する。
M2MTは、自己認識機構を実行する前に、空間部分空間内の角情報を集約する。
光フィールド画像内の全てのサブアパーチャ画像全体への完全なアクセスを可能にする。
論文 参考訳（メタデータ） (2024-01-01T12:48:23Z) - Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。
5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-24T03:50:37Z) - Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。
このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。
本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
論文 参考訳（メタデータ） (2023-08-10T07:53:06Z) - LiDAR-Camera Panoptic Segmentation via Geometry-Consistent and
Semantic-Aware Alignment [63.83894701779067]
我々は,最初のLiDAR-Camera Panoptic NetworkであるLCPSを提案する。
提案手法では,LiDAR-Camera融合を3段階に分けて行う。
我々の融合戦略は、NuScenesデータセット上のLiDARのみのベースラインに対して、約6.9%のPQ性能を改善する。
論文 参考訳（メタデータ） (2023-08-03T10:57:58Z) - Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。
本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。
提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
論文 参考訳（メタデータ） (2023-05-20T17:01:52Z) - EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。
本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。
本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-21T10:47:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。