論文の概要: OAFuser: Towards Omni-Aperture Fusion for Light Field Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2307.15588v2
• Date: Thu, 21 Dec 2023 09:47:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 18:46:02.392709
• Title: OAFuser: Towards Omni-Aperture Fusion for Light Field Semantic Segmentation
• Title（参考訳）: oafuser:光場意味セグメンテーションのためのomni-aperture fusionに向けて
• Authors: Fei Teng, Jiaming Zhang, Kunyu Peng, Yaonan Wang, Rainer Stiefelhagen, Kailun Yang
• Abstract要約: 光界カメラのための新しいパラダイムOmni-Aperture Fusion Model (OAFuser)を提案する。 OAFuserは、サブ開口画像から角情報を発見し、意味的に一貫性のある結果を生成する。 提案するOAFuserは,UrbanLF-RealおよびSynデータセットの最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 51.739401680890325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Light field cameras, by harnessing the power of micro-lens array, are capable of capturing intricate angular and spatial details. This allows for acquiring complex light patterns and details from multiple angles, significantly enhancing the precision of image semantic segmentation, a critical aspect of scene interpretation in vision intelligence. However, the extensive angular information of light field cameras contains a large amount of redundant data, which is overwhelming for the limited hardware resources of intelligent vehicles. Besides, inappropriate compression leads to information corruption and data loss. To excavate representative information, we propose a new paradigm, Omni-Aperture Fusion model (OAFuser), which leverages dense context from the central view and discovers the angular information from sub-aperture images to generate a semantically consistent result. To avoid feature loss during network propagation and simultaneously streamline the redundant information from the light field camera, we present a simple yet very effective Sub-Aperture Fusion Module (SAFM) to embed sub-aperture images into angular features without any additional memory cost. Furthermore, to address the mismatched spatial information across viewpoints, we present a Center Angular Rectification Module (CARM) to realize feature resorting and prevent feature occlusion caused by asymmetric information. Our proposed OAFuser achieves state-of-the-art performance on the UrbanLF-Real and -Syn datasets and sets a new record of 84.93% in mIoU on the UrbanLF-Real Extended dataset, with a gain of +4.53%. The source code of OAFuser will be available at https://github.com/FeiBryantkit/OAFuser.
• Abstract（参考訳）: 光界カメラはマイクロレンズアレイのパワーを利用して、複雑な角と空間の詳細を捉えることができる。 これにより、複数の角度から複雑な光パターンや詳細を取得でき、視覚情報におけるシーン解釈の重要な側面であるイメージセマンティックセグメンテーションの精度を大幅に向上することができる。 しかし、ライトフィールドカメラの広範囲な角情報には大量の冗長データが含まれており、インテリジェントな車両の限られたハードウェア資源では圧倒的である。 さらに、不適切な圧縮は情報の腐敗とデータ損失につながる。 代表情報を探索するために,中央から密集したコンテキストを利用して,サブ開口画像から角情報を発見し,意味的に一貫した結果を生成するOmni-Aperture Fusion Model (OAFuser)を提案する。 ネットワーク伝搬時の特徴損失を回避し,光界カメラからの冗長情報を同時に合理化するために,サブアパーチャイメージを追加のメモリコストを伴わない角度特徴に埋め込むための,シンプルなサブアパーチャ・フュージョン・モジュール(SAFM)を提案する。 さらに,不整合空間情報に対して,非対称な情報による特徴の排除と特徴の活用を実現するために,CARM(Central Angular Rectification Module)を提案する。 提案したOAFuserは,UrbanLF-RealデータセットとSynデータセットの最先端性能を達成し,UrbanLF-Real Extendedデータセットの84.93%の新記録を+4.53%のアップで設定した。 OAFuserのソースコードはhttps://github.com/FeiBryantkit/OAFuserで入手できる。

関連論文リスト

• LFSamba: Marry SAM with Mamba for Light Field Salient Object Detection [9.787855464038673]
  光界カメラは、リッチな空間幾何学情報を含むキャプチャされた多焦点画像を用いて3Dシーンを再構成することができる。 本研究では,LFSambaと呼ばれる多焦点光場画像に対する最先端のサルエント物体検出モデルを提案する。
  論文  参考訳（メタデータ） (2024-11-11T01:37:32Z)
• FusionMamba: Efficient Remote Sensing Image Fusion with State Space Model [35.57157248152558]
  現在のディープラーニング(DL)手法は、典型的には、特徴抽出と情報統合のために畳み込みニューラルネットワーク(CNN)またはトランスフォーマーを使用する。 本研究では,効率的なリモートセンシング画像融合法であるFusionMambaを提案する。
  論文  参考訳（メタデータ） (2024-04-11T17:29:56Z)
• LF Tracy: A Unified Single-Pipeline Approach for Salient Object Detection in Light Field Cameras [21.224449211575646]
  LF Salient Object Detection (SOD) タスクで見落とされた2つの問題を特定した。 従来のアプローチでは、主に光界画像内の空間的・深度的特徴を発見するために、カスタマイズされた2ストリーム設計を採用していた。 ネットワークは、ネットワーク内のデータ接続の欠如により、異なる画像間で暗黙の角情報を学ぶのに苦労している。 これらの問題に対処するための効率的なパラダイム(LF Tracy)を提案する。
  論文  参考訳（メタデータ） (2024-01-30T03:17:02Z)
• Beyond Subspace Isolation: Many-to-Many Transformer for Light Field Image Super-resolution [5.277207972856879]
  本稿では,光フィールド画像超解像処理のための新しいM2MTを提案する。 M2MTは、自己認識機構を実行する前に、空間部分空間内の角情報を集約する。 光フィールド画像内の全てのサブアパーチャ画像全体への完全なアクセスを可能にする。
  論文  参考訳（メタデータ） (2024-01-01T12:48:23Z)
• Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
  画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:50:37Z)
• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• LiDAR-Camera Panoptic Segmentation via Geometry-Consistent and Semantic-Aware Alignment [63.83894701779067]
  我々は,最初のLiDAR-Camera Panoptic NetworkであるLCPSを提案する。 提案手法では,LiDAR-Camera融合を3段階に分けて行う。 我々の融合戦略は、NuScenesデータセット上のLiDARのみのベースラインに対して、約6.9%のPQ性能を改善する。
  論文  参考訳（メタデータ） (2023-08-03T10:57:58Z)
• Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
  2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。 本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。 提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
  論文  参考訳（メタデータ） (2023-05-20T17:01:52Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。