論文の概要: OAFuser: Towards Omni-Aperture Fusion for Light Field Semantic
Segmentation
- arxiv url: http://arxiv.org/abs/2307.15588v2
- Date: Thu, 21 Dec 2023 09:47:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 18:46:02.392709
- Title: OAFuser: Towards Omni-Aperture Fusion for Light Field Semantic
Segmentation
- Title(参考訳): oafuser:光場意味セグメンテーションのためのomni-aperture fusionに向けて
- Authors: Fei Teng, Jiaming Zhang, Kunyu Peng, Yaonan Wang, Rainer Stiefelhagen,
Kailun Yang
- Abstract要約: 光界カメラのための新しいパラダイムOmni-Aperture Fusion Model (OAFuser)を提案する。
OAFuserは、サブ開口画像から角情報を発見し、意味的に一貫性のある結果を生成する。
提案するOAFuserは,UrbanLF-RealおよびSynデータセットの最先端性能を実現する。
- 参考スコア(独自算出の注目度): 51.739401680890325
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Light field cameras, by harnessing the power of micro-lens array, are capable
of capturing intricate angular and spatial details. This allows for acquiring
complex light patterns and details from multiple angles, significantly
enhancing the precision of image semantic segmentation, a critical aspect of
scene interpretation in vision intelligence. However, the extensive angular
information of light field cameras contains a large amount of redundant data,
which is overwhelming for the limited hardware resources of intelligent
vehicles. Besides, inappropriate compression leads to information corruption
and data loss. To excavate representative information, we propose a new
paradigm, Omni-Aperture Fusion model (OAFuser), which leverages dense context
from the central view and discovers the angular information from sub-aperture
images to generate a semantically consistent result. To avoid feature loss
during network propagation and simultaneously streamline the redundant
information from the light field camera, we present a simple yet very effective
Sub-Aperture Fusion Module (SAFM) to embed sub-aperture images into angular
features without any additional memory cost. Furthermore, to address the
mismatched spatial information across viewpoints, we present a Center Angular
Rectification Module (CARM) to realize feature resorting and prevent feature
occlusion caused by asymmetric information. Our proposed OAFuser achieves
state-of-the-art performance on the UrbanLF-Real and -Syn datasets and sets a
new record of 84.93% in mIoU on the UrbanLF-Real Extended dataset, with a gain
of +4.53%. The source code of OAFuser will be available at
https://github.com/FeiBryantkit/OAFuser.
- Abstract(参考訳): 光界カメラはマイクロレンズアレイのパワーを利用して、複雑な角と空間の詳細を捉えることができる。
これにより、複数の角度から複雑な光パターンや詳細を取得でき、視覚情報におけるシーン解釈の重要な側面であるイメージセマンティックセグメンテーションの精度を大幅に向上することができる。
しかし、ライトフィールドカメラの広範囲な角情報には大量の冗長データが含まれており、インテリジェントな車両の限られたハードウェア資源では圧倒的である。
さらに、不適切な圧縮は情報の腐敗とデータ損失につながる。
代表情報を探索するために,中央から密集したコンテキストを利用して,サブ開口画像から角情報を発見し,意味的に一貫した結果を生成するOmni-Aperture Fusion Model (OAFuser)を提案する。
ネットワーク伝搬時の特徴損失を回避し,光界カメラからの冗長情報を同時に合理化するために,サブアパーチャイメージを追加のメモリコストを伴わない角度特徴に埋め込むための,シンプルなサブアパーチャ・フュージョン・モジュール(SAFM)を提案する。
さらに,不整合空間情報に対して,非対称な情報による特徴の排除と特徴の活用を実現するために,CARM(Central Angular Rectification Module)を提案する。
提案したOAFuserは,UrbanLF-RealデータセットとSynデータセットの最先端性能を達成し,UrbanLF-Real Extendedデータセットの84.93%の新記録を+4.53%のアップで設定した。
OAFuserのソースコードはhttps://github.com/FeiBryantkit/OAFuserで入手できる。
関連論文リスト
- LF Tracy: A Unified Single-Pipeline Approach for Salient Object
Detection in Light Field Cameras [22.288764512594433]
本稿では,SOD(Salient Object Detection)を強化するために光場データに適応する効率的なパラダイムを提案する。
わずか28.9Mのパラメータしか利用せず、RGB画像を用いた場合と比較して3Mのパラメータを追加して10%の精度向上を実現し、LF画像を使用した場合の86%のバックボーンアップを実現している。
論文 参考訳(メタデータ) (2024-01-30T03:17:02Z) - Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。
5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-24T03:50:37Z) - Enhancing Low-light Light Field Images with A Deep Compensation
Unfolding Network [52.77569396659629]
本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。
このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。
本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
論文 参考訳(メタデータ) (2023-08-10T07:53:06Z) - Embracing Compact and Robust Architectures for Multi-Exposure Image
Fusion [50.598654017728045]
本稿では,堅牢なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを含む探索型パラダイムを提案する。
シーンリライティングと変形可能な畳み込みを利用して、カメラの動きに拘わらず、画像を正確に調整することができる。
我々は、様々な競争方式と比較して最先端の性能を実現し、一般的なシナリオと不整合シナリオに対するPSNRの4.02%と29.34%の改善を実現した。
論文 参考訳(メタデータ) (2023-05-20T17:01:52Z) - Learning-based Spatial and Angular Information Separation for Light
Field Compression [29.827366575505557]
光場の角情報と空間情報を分離できる新しいニューラルネットワークを提案する。
ネットワークは、全サブアパーチャ画像(SAI)間で共有される空間カーネルを用いて空間情報を表現し、各SAIに対して角カーネルの集合を用いた角情報を表す。
論文 参考訳(メタデータ) (2023-04-13T08:02:38Z) - Stereo Superpixel Segmentation Via Decoupled Dynamic Spatial-Embedding
Fusion Network [17.05076034398913]
本研究では,空間情報のデカップリング機構を備えたステレオスーパーピクセルセグメンテーション法を提案する。
立体差分情報と空間情報を分離するために、ステレオ画像対の特徴を融合する前に空間情報を一時的に除去する。
提案手法は,KITTI2015およびCityscapesデータセットの最先端性能を実現するとともに,NJU2Kデータセットの有能なオブジェクト検出に適用した場合の効率性を検証する。
論文 参考訳(メタデータ) (2022-08-17T08:22:50Z) - Light Field Reconstruction Using Convolutional Network on EPI and
Extended Applications [78.63280020581662]
スパースビューからの光場再構成のための新しい畳み込みニューラルネットワーク(CNN)ベースのフレームワークを開発した。
最先端のアルゴリズムと比較して,提案フレームワークの高性能と堅牢性を実証する。
論文 参考訳(メタデータ) (2021-03-24T08:16:32Z) - Deep Sparse Light Field Refocusing [35.796798137910066]
現在の方法は、この目的のために、角度ビューの高密度な場を必要とする。
本稿では,ニューラルネットワークを用いた狭角情報に基づく新しいディジタル再焦点方式を提案する。
論文 参考訳(メタデータ) (2020-09-05T18:34:55Z) - Learning Light Field Angular Super-Resolution via a Geometry-Aware
Network [101.59693839475783]
そこで本研究では,広いベースラインを持つスパースサンプリング光場を超解き放つことを目的とした,エンド・ツー・エンドの学習ベースアプローチを提案する。
提案手法は,実行時間48$times$を節約しつつ,2番目のベストメソッドのPSNRを平均2dBまで改善する。
論文 参考訳(メタデータ) (2020-02-26T02:36:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。