論文の概要: Instance Segmentation in the Dark
- arxiv url: http://arxiv.org/abs/2304.14298v2
- Date: Fri, 8 Sep 2023 18:45:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 21:41:35.060915
- Title: Instance Segmentation in the Dark
- Title(参考訳): 暗黒におけるインスタンスセグメンテーション
- Authors: Linwei Chen, Ying Fu, Kaixuan Wei, Dezhi Zheng, Felix Heide
- Abstract要約: 暗黒領域のインスタンスセグメンテーションを深く見て、低照度推論精度を大幅に向上させるテクニックをいくつか導入する。
本稿では,適応重み付きダウンサンプリング層,スムーズな指向性畳み込みブロック,外乱抑制学習に依存する新しい学習手法を提案する。
実世界の低照度インスタンスセグメンテーションデータセットを,2万組以上の低照度/通常照度画像と,インスタンスレベルのピクセル単位のアノテーションでキャプチャする。
- 参考スコア(独自算出の注目度): 43.85818645776587
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing instance segmentation techniques are primarily tailored for
high-visibility inputs, but their performance significantly deteriorates in
extremely low-light environments. In this work, we take a deep look at instance
segmentation in the dark and introduce several techniques that substantially
boost the low-light inference accuracy. The proposed method is motivated by the
observation that noise in low-light images introduces high-frequency
disturbances to the feature maps of neural networks, thereby significantly
degrading performance. To suppress this ``feature noise", we propose a novel
learning method that relies on an adaptive weighted downsampling layer, a
smooth-oriented convolutional block, and disturbance suppression learning.
These components effectively reduce feature noise during downsampling and
convolution operations, enabling the model to learn disturbance-invariant
features. Furthermore, we discover that high-bit-depth RAW images can better
preserve richer scene information in low-light conditions compared to typical
camera sRGB outputs, thus supporting the use of RAW-input algorithms. Our
analysis indicates that high bit-depth can be critical for low-light instance
segmentation. To mitigate the scarcity of annotated RAW datasets, we leverage a
low-light RAW synthetic pipeline to generate realistic low-light data. In
addition, to facilitate further research in this direction, we capture a
real-world low-light instance segmentation dataset comprising over two thousand
paired low/normal-light images with instance-level pixel-wise annotations.
Remarkably, without any image preprocessing, we achieve satisfactory
performance on instance segmentation in very low light (4~\% AP higher than
state-of-the-art competitors), meanwhile opening new opportunities for future
research.
- Abstract(参考訳): 既存のインスタンスセグメンテーション技術は主に高可視性入力に適しているが、非常に低照度環境では性能が著しく低下する。
本稿では,暗黒領域におけるインスタンスセグメンテーションを深く検討し,低光度推論精度を大幅に向上させる手法をいくつか紹介する。
提案手法は,低照度画像のノイズがニューラルネットワークの特徴マップに高周波障害をもたらすことを観測し,性能を著しく低下させる。
この「フィーチャーノイズ」を抑えるために,適応重み付けされたダウンサンプリング層,スムーズな指向の畳み込みブロック,乱れ抑制学習に依存する新しい学習手法を提案する。
これらのコンポーネントは、ダウンサンプリングや畳み込み操作時の特徴ノイズを効果的に低減し、モデルが外乱不変特徴を学習できるようにする。
さらに、高ビット深度raw画像は、通常のカメラsrgb出力よりも低照度でよりリッチなシーン情報を保存できるため、raw入力アルゴリズムの使用を支援する。
分析の結果,高ビット深度は低照度インスタンスセグメンテーションにおいて重要であることが示された。
注釈付き生データセットの不足を軽減するため、低照度生合成パイプラインを利用して現実的な低照度データを生成する。
さらに, この方向のさらなる研究を促進するために, 実世界の低照度インスタンスセグメンテーションデータセットを, インスタンスレベルのアノテーションを用いた2万組以上の低照度/通常照度画像から取得する。
注目すべきは、画像前処理がなければ、インスタンスセグメンテーションを非常に低い光(最先端の競合他社よりも4~\% AP)で満足できる性能を実現し、一方で、将来的な研究の新たな機会を開くことである。
関連論文リスト
- Zero-Shot Enhancement of Low-Light Image Based on Retinex Decomposition [4.175396687130961]
本稿ではZERRINNetと呼ばれるゼロショット低照度化手法の学習に基づくRetinex分解を提案する。
本手法は,ペアとアンペアのデータセットのトレーニングデータの影響を受けないゼロ参照拡張手法である。
論文 参考訳(メタデータ) (2023-11-06T09:57:48Z) - Enhancing Low-Light Images Using Infrared-Encoded Images [81.8710581927427]
従来の芸術は、主にピクセルワイド・ロスを用いて可視光スペクトルで捉えた低照度画像に焦点を当てていた。
我々は,赤外線カットオフフィルタを除去することにより,低照度環境下で撮影された画像の可視性を高める新しい手法を提案する。
論文 参考訳(メタデータ) (2023-07-09T08:29:19Z) - Seeing Through The Noisy Dark: Toward Real-world Low-Light Image
Enhancement and Denoising [125.56062454927755]
現実の低照度環境は通常、光やハードウェアの限界が不足しているため、視界が低く、騒音が重い。
我々は、RLED-Net(Real-world Low-light Enhancement & Denoising Network)と呼ばれる新しいエンドツーエンド手法を提案する。
論文 参考訳(メタデータ) (2022-10-02T14:57:23Z) - KinD-LCE Curve Estimation And Retinex Fusion On Low-Light Image [7.280719886684936]
本稿では,低照度化のためのアルゴリズムを提案する。
KinD-LCEは、Retinex分解画像の照明マップを強化するために光曲線推定モジュールを使用する。
照明マップと反射マップ融合モジュールも提案され、画像の詳細を復元し、詳細損失を低減した。
論文 参考訳(メタデータ) (2022-07-19T11:49:21Z) - Adaptive Unfolding Total Variation Network for Low-Light Image
Enhancement [6.531546527140475]
sRGB空間における既存の拡張アルゴリズムのほとんどは、低可視性問題にのみ焦点をあてるか、仮説的雑音レベルの下でノイズを抑圧する。
本稿では,実際のsRGB低照度画像から雑音レベルを近似する適応展開全変動ネットワーク(UTVNet)を提案する。
実世界の低照度画像に対する実験は、最先端の手法よりもUTVNetの優れた性能を明らかに示している。
論文 参考訳(メタデータ) (2021-10-03T11:22:17Z) - CERL: A Unified Optimization Framework for Light Enhancement with
Realistic Noise [81.47026986488638]
現実世界で撮影された低照度画像は、センサーノイズによって必然的に破損する。
既存の光強調法は、拡張中の現実世界のノイズの重要な影響を見落としているか、ノイズ除去を別の前処理または後処理のステップとして扱うかのどちらかである。
実世界の低照度雑音画像(CERL)のコーディネート・エンハンスメントを行い,光強調部と雑音抑制部を一体化・物理接地したフレームワークにシームレスに統合する。
論文 参考訳(メタデータ) (2021-08-01T15:31:15Z) - Deep Bilateral Retinex for Low-Light Image Enhancement [96.15991198417552]
低照度画像は、低コントラスト、色歪み、測定ノイズによる視界の低下に悩まされる。
本稿では,低照度画像強調のための深層学習手法を提案する。
提案手法は最先端の手法と非常に競合し, 極めて低照度で撮影した画像の処理において, 他に比べて大きな優位性を有する。
論文 参考訳(メタデータ) (2020-07-04T06:26:44Z) - Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。
提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
論文 参考訳(メタデータ) (2020-05-06T13:37:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。