論文の概要: OAFuser: Towards Omni-Aperture Fusion for Light Field Semantic
Segmentation of Road Scenes
- arxiv url: http://arxiv.org/abs/2307.15588v1
- Date: Fri, 28 Jul 2023 14:43:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-31 12:26:04.922550
- Title: OAFuser: Towards Omni-Aperture Fusion for Light Field Semantic
Segmentation of Road Scenes
- Title(参考訳): OAFuser:Omni-Aperture Fusionによる道路シーンの光場セマンティックセマンティックセグメンテーション
- Authors: Fei Teng, Jiaming Zhang, Kunyu Peng, Kailun Yang, Yaonan Wang, Rainer
Stiefelhagen
- Abstract要約: 光界カメラから代表情報を抽出するOmni-Aperture Fusion Model (OAFuser)を提案する。
サブアパーチャ・フュージョン・モジュール(SAFM)は、追加のメモリコストを伴わずに、サブアパーチャ・イメージを角のフィーチャに埋め込む。
提案するOAFuserは,UrbanLF-RealおよびSynデータセットの最先端性能を実現する。
- 参考スコア(独自算出の注目度): 42.44155393657226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Light field cameras can provide rich angular and spatial information to
enhance image semantic segmentation for scene understanding in the field of
autonomous driving. However, the extensive angular information of light field
cameras contains a large amount of redundant data, which is overwhelming for
the limited hardware resource of intelligent vehicles. Besides, inappropriate
compression leads to information corruption and data loss. To excavate
representative information, we propose an Omni-Aperture Fusion model (OAFuser),
which leverages dense context from the central view and discovers the angular
information from sub-aperture images to generate a semantically-consistent
result. To avoid feature loss during network propagation and simultaneously
streamline the redundant information from the light field camera, we present a
simple yet very effective Sub-Aperture Fusion Module (SAFM) to embed
sub-aperture images into angular features without any additional memory cost.
Furthermore, to address the mismatched spatial information across viewpoints,
we present Center Angular Rectification Module (CARM) realized feature
resorting and prevent feature occlusion caused by asymmetric information. Our
proposed OAFuser achieves state-of-the-art performance on the UrbanLF-Real and
-Syn datasets and sets a new record of 84.93% in mIoU on the UrbanLF-Real
Extended dataset, with a gain of +4.53%. The source code of OAFuser will be
made publicly available at https://github.com/FeiBryantkit/OAFuser.
- Abstract(参考訳): 光界カメラは、自律運転の分野におけるシーン理解のためのイメージセマンティックセグメンテーションを強化するために、リッチな角情報と空間情報を提供することができる。
しかし、ライトフィールドカメラの広範囲な角情報には大量の冗長データが含まれており、インテリジェントな車両の限られたハードウェア資源では圧倒的である。
さらに、不適切な圧縮は情報の腐敗とデータ損失につながる。
代表情報を探索するために,中央から密集したコンテキストを利用して,サブアパーチャ画像から角情報を発見し,意味的に一貫性のある結果を生成するOmni-Aperture Fusion Model (OAFuser)を提案する。
ネットワーク伝搬時の特徴損失を回避し,光界カメラからの冗長情報を同時に合理化するために,サブアパーチャイメージを追加のメモリコストを伴わない角度特徴に埋め込むための,シンプルなサブアパーチャ・フュージョン・モジュール(SAFM)を提案する。
さらに,不整合空間情報に対して,非対称情報による特徴の排除と特徴の活用を実現したCARM(Central Angular Rectification Module)を提案する。
提案したOAFuserは,UrbanLF-RealデータセットとSynデータセットの最先端性能を達成し,UrbanLF-Real Extendedデータセットの84.93%の新記録を+4.53%のアップで設定した。
OAFuserのソースコードはhttps://github.com/FeiBryantkit/OAFuserで公開されている。
関連論文リスト
- Spatial-frequency Dual-Domain Feature Fusion Network for Low-Light Remote Sensing Image Enhancement [49.15531684596958]
低照度リモートセンシング画像強調のためのDFFN(Dual-Domain Feature Fusion Network)を提案する。
第1フェーズは振幅情報を学習して画像輝度を復元し、第2フェーズは位相情報を学習して詳細を洗練させる。
我々は、現在の暗光リモートセンシング画像強調におけるデータセットの欠如に対応するために、2つの暗光リモートセンシングデータセットを構築した。
論文 参考訳(メタデータ) (2024-04-26T13:21:31Z) - LF Tracy: A Unified Single-Pipeline Approach for Salient Object
Detection in Light Field Cameras [22.288764512594433]
本稿では,SOD(Salient Object Detection)を強化するために光場データに適応する効率的なパラダイムを提案する。
わずか28.9Mのパラメータしか利用せず、RGB画像を用いた場合と比較して3Mのパラメータを追加して10%の精度向上を実現し、LF画像を使用した場合の86%のバックボーンアップを実現している。
論文 参考訳(メタデータ) (2024-01-30T03:17:02Z) - Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。
5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-24T03:50:37Z) - Enhancing Low-light Light Field Images with A Deep Compensation
Unfolding Network [52.77569396659629]
本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。
このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。
本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
論文 参考訳(メタデータ) (2023-08-10T07:53:06Z) - Embracing Compact and Robust Architectures for Multi-Exposure Image
Fusion [50.598654017728045]
本稿では,堅牢なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを含む探索型パラダイムを提案する。
シーンリライティングと変形可能な畳み込みを利用して、カメラの動きに拘わらず、画像を正確に調整することができる。
我々は、様々な競争方式と比較して最先端の性能を実現し、一般的なシナリオと不整合シナリオに対するPSNRの4.02%と29.34%の改善を実現した。
論文 参考訳(メタデータ) (2023-05-20T17:01:52Z) - Learning-based Spatial and Angular Information Separation for Light
Field Compression [29.827366575505557]
光場の角情報と空間情報を分離できる新しいニューラルネットワークを提案する。
ネットワークは、全サブアパーチャ画像(SAI)間で共有される空間カーネルを用いて空間情報を表現し、各SAIに対して角カーネルの集合を用いた角情報を表す。
論文 参考訳(メタデータ) (2023-04-13T08:02:38Z) - Stereo Superpixel Segmentation Via Decoupled Dynamic Spatial-Embedding
Fusion Network [17.05076034398913]
本研究では,空間情報のデカップリング機構を備えたステレオスーパーピクセルセグメンテーション法を提案する。
立体差分情報と空間情報を分離するために、ステレオ画像対の特徴を融合する前に空間情報を一時的に除去する。
提案手法は,KITTI2015およびCityscapesデータセットの最先端性能を実現するとともに,NJU2Kデータセットの有能なオブジェクト検出に適用した場合の効率性を検証する。
論文 参考訳(メタデータ) (2022-08-17T08:22:50Z) - Light Field Reconstruction Using Convolutional Network on EPI and
Extended Applications [78.63280020581662]
スパースビューからの光場再構成のための新しい畳み込みニューラルネットワーク(CNN)ベースのフレームワークを開発した。
最先端のアルゴリズムと比較して,提案フレームワークの高性能と堅牢性を実証する。
論文 参考訳(メタデータ) (2021-03-24T08:16:32Z) - Deep Sparse Light Field Refocusing [35.796798137910066]
現在の方法は、この目的のために、角度ビューの高密度な場を必要とする。
本稿では,ニューラルネットワークを用いた狭角情報に基づく新しいディジタル再焦点方式を提案する。
論文 参考訳(メタデータ) (2020-09-05T18:34:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。