論文の概要: Residual Pattern Learning for Pixel-wise Out-of-Distribution Detection
in Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2211.14512v1
- Date: Sat, 26 Nov 2022 08:32:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 18:03:16.988701
- Title: Residual Pattern Learning for Pixel-wise Out-of-Distribution Detection
in Semantic Segmentation
- Title(参考訳): セマンティックセグメンテーションにおける画素単位の分布検出のための残差パターン学習
- Authors: Yuyuan Liu, Choubo Ding, Yu Tian, Guansong Pang, Vasileios
Belagiannis, Ian Reid and Gustavo Carneiro
- Abstract要約: 本稿では,新たな残差パターン学習 (RPL) モジュールを提案する。このモジュールはセグメンテーションモデルを用いて,イリヤセグメンテーション性能に影響を与えることなく,OoD画素の検出を支援する。
また,様々な文脈において,RPLがOoD画素を頑健に検出することを強制する新しいコンテクストロバストコントラスト学習(CoroCL)を提案する。
われわれのアプローチは、FPRが約10%改善し、AuPRCが7%向上し、フィッシュスケープ、Segment-Me-If-You-Can、RoadAnomalyデータセットの最先端になった。
- 参考スコア(独自算出の注目度): 43.61485495331684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic segmentation models classify pixels into a set of known
(``in-distribution'') visual classes. When deployed in an open world, the
reliability of these models depends on their ability not only to classify
in-distribution pixels but also to detect out-of-distribution (OoD) pixels.
Historically, the poor OoD detection performance of these models has motivated
the design of methods based on model re-training using synthetic training
images that include OoD visual objects. Although successful, these re-trained
methods have two issues: 1) their in-distribution segmentation accuracy may
drop during re-training, and 2) their OoD detection accuracy does not
generalise well to new contexts (e.g., country surroundings) outside the
training set (e.g., city surroundings). In this paper, we mitigate these issues
with: (i) a new residual pattern learning (RPL) module that assists the
segmentation model to detect OoD pixels without affecting the inlier
segmentation performance; and (ii) a novel context-robust contrastive learning
(CoroCL) that enforces RPL to robustly detect OoD pixels among various
contexts. Our approach improves by around 10\% FPR and 7\% AuPRC the previous
state-of-the-art in Fishyscapes, Segment-Me-If-You-Can, and RoadAnomaly
datasets. Our code is available at: https://github.com/yyliu01/RPL.
- Abstract(参考訳): セマンティックセグメンテーションモデルは、ピクセルを既知の(`in-distribution'')視覚クラスに分類する。
オープンな世界に展開する場合、これらのモデルの信頼性は、分布内画素を分類するだけでなく、分布外画素(OoD)を検出する能力にも依存する。
歴史的に、これらのモデルのood検出性能の低さは、oodビジュアルオブジェクトを含む合成トレーニングイメージを用いたモデル再トレーニングに基づくメソッドの設計を動機付けた。
成功したとはいえ、これらの再訓練手法には2つの問題がある。
1)再訓練中に分配分節精度が低下し得る。
2) そのood検出精度は, 訓練施設外の新たな状況(例えば, 都市環境)にはあまり一般化しない。
本稿では,これらの問題を次のように緩和する。
(i)不規則なセグメンテーション性能に影響を与えることなく、セグメンテーションモデルによるood画素の検出を支援する新しい残差パターン学習(rpl)モジュール
(ii)rplが様々な文脈でood画素を頑健に検出することを強制する新しいコンテキストロバストコントラスト学習(corocl)。
本手法は,魚類景観,セグメンテーション・ミー・イ・ユー・カン,ロードアノマリーデータセットにおいて,これまでの最先端技術であるfprと7-% auprcを約10-%改善する。
私たちのコードは、https://github.com/yyliu01/rplで利用可能です。
関連論文リスト
- Fine Structure-Aware Sampling: A New Sampling Training Scheme for
Pixel-Aligned Implicit Models in Single-View Human Reconstruction [105.46091601932524]
本研究では,単一視点の人物再構成のための暗黙的画素アライメントモデルをトレーニングするために,FSS(Final Structured-Aware Sampling)を導入する。
FSSは表面の厚さと複雑さに積極的に適応する。
また、画素アライメント型暗黙的モデルのためのメッシュ厚み損失信号を提案する。
論文 参考訳(メタデータ) (2024-02-29T14:26:46Z) - High-fidelity Pseudo-labels for Boosting Weakly-Supervised Segmentation [17.804090651425955]
画像レベルの弱い教師付きセグメンテーション(WSSS)は、トレーニング中にセグメンテーションマスクを代理することで、通常膨大なデータアノテーションコストを削減する。
本研究は,GAPの代替となる重要サンプリングと特徴類似性損失という,CAMを改善するための2つの手法に基づく。
複数の独立二項問題の後部二項問題に基づいて両手法を再構成する。
パフォーマンスが向上し、より一般的なものになり、事実上あらゆるWSSSメソッドを増強できるアドオンメソッドが出来上がります。
論文 参考訳(メタデータ) (2023-04-05T17:43:57Z) - Improving Pixel-Level Contrastive Learning by Leveraging Exogenous Depth
Information [7.561849435043042]
近年,コントラスト学習(CL)に基づく自己指導型表現学習が注目されている。
本稿では,深度ネットワークを用いたり,利用可能なデータから測定したりすることで得られる深度情報に焦点を当てる。
比較損失におけるこの推定情報を用いることで、結果が改善され、学習された表現がオブジェクトの形状に従うのがよいことを示す。
論文 参考訳(メタデータ) (2022-11-18T11:45:39Z) - Region-aware Attention for Image Inpainting [33.22497212024083]
本稿では,画像の描画のための新しい領域認識アテンション (RA) モジュールを提案する。
単一サンプルにおける各画素対間の相関を直接計算することを避けることにより、ホール内の無効情報の誤認を回避することができる。
学習可能な領域辞書(LRD)を導入し、データセット全体に重要な情報を格納する。
我々の手法は、現実的な詳細で意味論的に妥当な結果を生成することができる。
論文 参考訳(メタデータ) (2022-04-03T06:26:22Z) - Decoupled Multi-task Learning with Cyclical Self-Regulation for Face
Parsing [71.19528222206088]
顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。
具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。
提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-03-28T02:12:30Z) - ZSD-YOLO: Zero-Shot YOLO Detection using Vision-Language
KnowledgeDistillation [5.424015823818208]
COCOのようなデータセットは、多くの画像に広く注釈付けされているが、多数のカテゴリがあり、さまざまなドメインにまたがるすべてのオブジェクトクラスに注釈を付けるのは高価で難しい。
我々は,CLIPのようなゼロショット事前学習モデルからの画像とテキストの埋め込みを,YOLOv5のような一段検出器からの修正意味予測ヘッドに整合させるビジョン・ランゲージ蒸留法を開発した。
推論中、我々のモデルは追加のトレーニングなしで任意の数のオブジェクトクラスを検出するように適応できる。
論文 参考訳(メタデータ) (2021-09-24T16:46:36Z) - Exploring Cross-Image Pixel Contrast for Semantic Segmentation [130.22216825377618]
完全教師付きセッティングにおけるセマンティックセグメンテーションのための画素単位のコントラストフレームワークを提案する。
中心となる考え方は、同じセマンティッククラスに属するピクセルの埋め込みを、異なるクラスの埋め込みよりもよく似ているように強制することである。
テスト中に余分なオーバーヘッドを伴わずに既存のセグメンテーションフレームワークに懸命に組み込むことができる。
論文 参考訳(メタデータ) (2021-01-28T11:35:32Z) - Learning to Recognize Patch-Wise Consistency for Deepfake Detection [39.186451993950044]
パッチワイド一貫性学習(PCL)という,このタスクのための表現学習手法を提案する。
PCLは、画像のソース機能の一貫性を測定し、複数の偽造方法に対する優れた解釈性と堅牢性で表現することを学びます。
7つの一般的なDeepfake検出データセットに対するアプローチを評価します。
論文 参考訳(メタデータ) (2020-12-16T23:06:56Z) - Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。
画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。
特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
論文 参考訳(メタデータ) (2020-12-09T12:40:13Z) - Dense Contrastive Learning for Self-Supervised Visual Pre-Training [102.15325936477362]
入力画像の2つのビュー間の画素レベルでの差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分)を最適化することにより自己教師学習を実現する。
ベースライン法であるMoCo-v2と比較すると,計算オーバーヘッドは1%遅かった。
論文 参考訳(メタデータ) (2020-11-18T08:42:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。