論文の概要: Polarization-driven Semantic Segmentation via Efficient Attention-bridged Fusion

• arxiv url: http://arxiv.org/abs/2011.13313v2
• Date: Fri, 22 Jan 2021 22:06:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 12:44:25.443433
• Title: Polarization-driven Semantic Segmentation via Efficient Attention-bridged Fusion
• Title（参考訳）: 効率的な注意ブリッジ融合による分極駆動意味セグメンテーション
• Authors: Kaite Xiang, Kailun Yang and Kaiwei Wang
• Abstract要約: EAFNetは、異なる光学センサから得られる補完情報を利用する、効率的な注意ブリッジ型核融合ネットワークである。 394画素対応RGB-Polarization画像からなる最初のRGB-Pデータセットを構築した。 総合的な実験では、偏光とRGB情報を融合するEAFNetの有効性が示されている。
• 参考スコア（独自算出の注目度）: 6.718162142201631
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic Segmentation (SS) is promising for outdoor scene perception in safety-critical applications like autonomous vehicles, assisted navigation and so on. However, traditional SS is primarily based on RGB images, which limits the reliability of SS in complex outdoor scenes, where RGB images lack necessary information dimensions to fully perceive unconstrained environments. As preliminary investigation, we examine SS in an unexpected obstacle detection scenario, which demonstrates the necessity of multimodal fusion. Thereby, in this work, we present EAFNet, an Efficient Attention-bridged Fusion Network to exploit complementary information coming from different optical sensors. Specifically, we incorporate polarization sensing to obtain supplementary information, considering its optical characteristics for robust representation of diverse materials. By using a single-shot polarization sensor, we build the first RGB-P dataset which consists of 394 annotated pixel-aligned RGB-Polarization images. A comprehensive variety of experiments shows the effectiveness of EAFNet to fuse polarization and RGB information, as well as the flexibility to be adapted to other sensor combination scenarios.
• Abstract（参考訳）: セマンティクスセグメンテーション(ss)は、自動運転車やナビゲーション支援など、安全クリティカルなアプリケーションにおいて屋外のシーン知覚に有望である。 しかし、従来のSSは主にRGB画像に基づいており、複雑な屋外シーンでは、RGB画像は制約のない環境を完全に知覚するために必要な情報次元を欠いている。 予備調査として,マルチモーダル核融合の必要性を示す予期せぬ障害物検出シナリオにおけるSSの検討を行った。 そこで本研究では,異なる光センサから得られる補完情報を活用するために,効率的な注意ブリッジ融合ネットワークであるEAFNetを提案する。 具体的には,多種多様な材料のロバスト表現のための光学特性を考慮した補足情報を得るために偏光センシングを組み込んだ。 単発偏光センサを用いて、394の注釈付き画素対応RGB-Polarization画像からなる最初のRGB-Pデータセットを構築する。 包括的な実験により、eafnetが偏光とrgb情報を融合する効果と、他のセンサーの組み合わせシナリオに適応するための柔軟性を示す。

関連論文リスト

• Removal then Selection: A Coarse-to-Fine Fusion Perspective for RGB-Infrared Object Detection [20.12812979315803]
  可視光(RGB)と熱赤外(IR)画像の両方を利用した物体検出が注目されている。 既存の多くのマルチモーダルオブジェクト検出手法は、RGBとIR画像をディープニューラルネットワークに直接入力する。 両モダリティから特徴を浄化・融合する新しい粗大な視点を提案する。
  論文  参考訳（メタデータ） (2024-01-19T14:49:42Z)
• Attentive Multimodal Fusion for Optical and Scene Flow [24.08052492109655]
  既存の方法は通常、RGB画像のみに依存するか、後段のモダリティを融合させる。 本稿では,センサモード間の早期情報融合を可能にするFusionRAFTという新しいディープニューラルネットワーク手法を提案する。 提案手法は,RGB画像に影響を及ぼすノイズや低照度条件の存在下での堅牢性の向上を示す。
  論文  参考訳（メタデータ） (2023-07-28T04:36:07Z)
• Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
  従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。 近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。 本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
  論文  参考訳（メタデータ） (2023-06-17T14:28:08Z)
• Polarimetric Imaging for Perception [3.093890460224435]
  我々は、RGB偏光カメラを用いた知覚タスクの改善の可能性を分析する。 我々は、最先端のディープニューラルネットワークを用いて、両者にとって定量化された改善が達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-24T06:42:27Z)
• An Interactively Reinforced Paradigm for Joint Infrared-Visible Image Fusion and Saliency Object Detection [59.02821429555375]
  この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。 経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。 マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
  論文  参考訳（メタデータ） (2023-05-17T06:48:35Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• Learning Enriched Illuminants for Cross and Single Sensor Color Constancy [182.4997117953705]
  ネットワークをトレーニングするためのクロスセンサ自己教師型トレーニングを提案する。 センサに依存しない方法で人工発光体をランダムにサンプリングすることでネットワークを訓練する。 実験により、我々のクロスセンサモデルとシングルセンサーモデルは、他の最先端手法よりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2022-03-21T15:45:35Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• A Parallel Down-Up Fusion Network for Salient Object Detection in Optical Remote Sensing Images [82.87122287748791]
  光リモートセンシング画像(RSI)における有意な物体検出のための新しい並列ダウンアップフュージョンネットワーク(PDF-Net)を提案する。 In-pathの低レベル・高レベルな特徴とクロスパスの多解像度な特徴をフル活用して、多様なスケールのサルエントオブジェクトを識別し、散らかった背景を抑える。 ORSSDデータセットの実験により、提案したネットワークは定性的かつ定量的に最先端のアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T05:27:57Z)
• Drone-based RGB-Infrared Cross-Modality Vehicle Detection via Uncertainty-Aware Learning [59.19469551774703]
  ドローンによる車両検出は、空中画像中の車両の位置とカテゴリーを見つけることを目的としている。 我々はDroneVehicleと呼ばれる大規模ドローンベースのRGB赤外線車両検出データセットを構築した。 私たちのDroneVehicleは28,439RGBの赤外線画像を収集し、都市道路、住宅地、駐車場、その他のシナリオを昼から夜までカバーしています。
  論文  参考訳（メタデータ） (2020-03-05T05:29:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。