論文の概要: OAFuser: Towards Omni-Aperture Fusion for Light Field Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2307.15588v3
- Date: Mon, 9 Sep 2024 08:28:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 04:13:49.976088
- Title: OAFuser: Towards Omni-Aperture Fusion for Light Field Semantic Segmentation
- Title(参考訳): OAFuser:光電場セマンティックセグメンテーションのためのOmni-Aperture Fusionを目指して
- Authors: Fei Teng, Jiaming Zhang, Kunyu Peng, Yaonan Wang, Rainer Stiefelhagen, Kailun Yang,
- Abstract要約: 我々は,Omni-Aperture Fusion Model (OAFuser) を提案する。
提案したOAFuserは,すべての評価指標から4つのUrbanLFデータセット上での最先端のパフォーマンスを実現する。
- 参考スコア(独自算出の注目度): 48.828453331724965
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Light field cameras are capable of capturing intricate angular and spatial details. This allows for acquiring complex light patterns and details from multiple angles, significantly enhancing the precision of image semantic segmentation. However, two significant issues arise: (1) The extensive angular information of light field cameras contains a large amount of redundant data, which is overwhelming for the limited hardware resources of intelligent agents. (2) A relative displacement difference exists in the data collected by different micro-lenses. To address these issues, we propose an Omni-Aperture Fusion model (OAFuser) that leverages dense context from the central view and extracts the angular information from sub-aperture images to generate semantically consistent results. To simultaneously streamline the redundant information from the light field cameras and avoid feature loss during network propagation, we present a simple yet very effective Sub-Aperture Fusion Module (SAFM). This module efficiently embeds sub-aperture images in angular features, allowing the network to process each sub-aperture image with a minimal computational demand of only (around 1GFlops). Furthermore, to address the mismatched spatial information across viewpoints, we present a Center Angular Rectification Module (CARM) to realize feature resorting and prevent feature occlusion caused by misalignment. The proposed OAFuser achieves state-of-the-art performance on four UrbanLF datasets in terms of all evaluation metrics and sets a new record of 84.93% in mIoU on the UrbanLF-Real Extended dataset, with a gain of +3.69%. The source code for OAFuser is available at https://github.com/FeiBryantkit/OAFuser.
- Abstract(参考訳): 光界カメラは、複雑な角と空間の細部を捉えることができる。
これにより、複数の角度から複雑な光パターンや詳細を取得でき、画像セマンティックセグメンテーションの精度を大幅に向上させることができる。
しかし、2つの大きな問題が生じる: (1) 視野カメラの広範囲な角情報には大量の冗長データが含まれており、これは知的エージェントの限られたハードウェアリソースにとって圧倒的である。
2) 異なるマイクロレンズで収集したデータには相対変位差が存在する。
これらの問題に対処するために、中央から密集したコンテキストを活用し、サブアパーチャ画像から角情報を抽出し、意味的に一貫した結果を生成するOmni-Aperture Fusion Model (OAFuser)を提案する。
光電界カメラからの冗長な情報の合理化とネットワーク伝搬時の特徴損失の回避を同時に行うため,単純なサブアパーチャ・フュージョン・モジュール(SAFM)を提案する。
このモジュールは、角の特徴にサブアパーチャ画像を効率よく埋め込むことができ、各サブアパーチャ画像を最小の計算需要(約1GFlops)で処理することができる。
さらに,不整合な空間情報に視点をまたいで対処するため,不整合による特徴の活用と特徴の排除を防止するためにCARM(Central Angular Rectification Module)を提案する。
提案したOAFuserは、すべての評価指標から4つのUrbanLFデータセットの最先端のパフォーマンスを達成し、UrbanLF-Real Extendedデータセットの84.93%の新しい記録を+3.69%とした。
OAFuserのソースコードはhttps://github.com/FeiBryantkit/OAFuserで入手できる。
関連論文リスト
- Spatial-frequency Dual-Domain Feature Fusion Network for Low-Light Remote Sensing Image Enhancement [49.15531684596958]
低照度リモートセンシング画像強調のためのDFFN(Dual-Domain Feature Fusion Network)を提案する。
第1フェーズは振幅情報を学習して画像輝度を復元し、第2フェーズは位相情報を学習して詳細を洗練させる。
我々は、現在の暗光リモートセンシング画像強調におけるデータセットの欠如に対応するために、2つの暗光リモートセンシングデータセットを構築した。
論文 参考訳(メタデータ) (2024-04-26T13:21:31Z) - LF Tracy: A Unified Single-Pipeline Approach for Salient Object
Detection in Light Field Cameras [22.288764512594433]
本稿では,SOD(Salient Object Detection)を強化するために光場データに適応する効率的なパラダイムを提案する。
わずか28.9Mのパラメータしか利用せず、RGB画像を用いた場合と比較して3Mのパラメータを追加して10%の精度向上を実現し、LF画像を使用した場合の86%のバックボーンアップを実現している。
論文 参考訳(メタデータ) (2024-01-30T03:17:02Z) - Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。
5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-24T03:50:37Z) - Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。
このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。
本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
論文 参考訳(メタデータ) (2023-08-10T07:53:06Z) - Embracing Compact and Robust Architectures for Multi-Exposure Image
Fusion [50.598654017728045]
本稿では,堅牢なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを含む探索型パラダイムを提案する。
シーンリライティングと変形可能な畳み込みを利用して、カメラの動きに拘わらず、画像を正確に調整することができる。
我々は、様々な競争方式と比較して最先端の性能を実現し、一般的なシナリオと不整合シナリオに対するPSNRの4.02%と29.34%の改善を実現した。
論文 参考訳(メタデータ) (2023-05-20T17:01:52Z) - Learning-based Spatial and Angular Information Separation for Light
Field Compression [29.827366575505557]
光場の角情報と空間情報を分離できる新しいニューラルネットワークを提案する。
ネットワークは、全サブアパーチャ画像(SAI)間で共有される空間カーネルを用いて空間情報を表現し、各SAIに対して角カーネルの集合を用いた角情報を表す。
論文 参考訳(メタデータ) (2023-04-13T08:02:38Z) - Stereo Superpixel Segmentation Via Decoupled Dynamic Spatial-Embedding
Fusion Network [17.05076034398913]
本研究では,空間情報のデカップリング機構を備えたステレオスーパーピクセルセグメンテーション法を提案する。
立体差分情報と空間情報を分離するために、ステレオ画像対の特徴を融合する前に空間情報を一時的に除去する。
提案手法は,KITTI2015およびCityscapesデータセットの最先端性能を実現するとともに,NJU2Kデータセットの有能なオブジェクト検出に適用した場合の効率性を検証する。
論文 参考訳(メタデータ) (2022-08-17T08:22:50Z) - Light Field Reconstruction Using Convolutional Network on EPI and
Extended Applications [78.63280020581662]
スパースビューからの光場再構成のための新しい畳み込みニューラルネットワーク(CNN)ベースのフレームワークを開発した。
最先端のアルゴリズムと比較して,提案フレームワークの高性能と堅牢性を実証する。
論文 参考訳(メタデータ) (2021-03-24T08:16:32Z) - Deep Sparse Light Field Refocusing [35.796798137910066]
現在の方法は、この目的のために、角度ビューの高密度な場を必要とする。
本稿では,ニューラルネットワークを用いた狭角情報に基づく新しいディジタル再焦点方式を提案する。
論文 参考訳(メタデータ) (2020-09-05T18:34:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。