論文の概要: One Metric to Measure them All: Localisation Recall Precision (LRP) for
Evaluating Visual Detection Tasks
- arxiv url: http://arxiv.org/abs/2011.10772v3
- Date: Sun, 21 Nov 2021 17:26:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 23:24:39.388685
- Title: One Metric to Measure them All: Localisation Recall Precision (LRP) for
Evaluating Visual Detection Tasks
- Title(参考訳): すべてを測定するためのメトリクス:視覚的検出タスクを評価するローカライゼーションリコール精度(LRP)
- Authors: Kemal Oksuz and Baris Can Cam and Sinan Kalkan and Emre Akbas
- Abstract要約: ローカライゼーションリコール精度(LRP)誤差は、ローカライゼーション品質に基づいて計算された視覚検出器の平均一致誤差である。
平均精度(AP)とPanoptic Quality(PQ)によるLPP誤差の詳細な比較分析を行う。
私たちは7つの視覚的検出タスクから、100近い最先端のビジュアル検出器を使用して、LRP Errorがそれよりも豊かで非ネイティブな情報を提供することを実証的に示しています。
- 参考スコア(独自算出の注目度): 21.349625353213444
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite being widely used as a performance measure for visual detection
tasks, Average Precision (AP) is limited in (i) reflecting localisation
quality, (ii) interpretability and (iii) robustness to the design choices
regarding its computation, and its applicability to outputs without confidence
scores. Panoptic Quality (PQ), a measure proposed for evaluating panoptic
segmentation (Kirillov et al., 2019), does not suffer from these limitations
but is limited to panoptic segmentation. In this paper, we propose Localisation
Recall Precision (LRP) Error as the average matching error of a visual detector
computed based on both its localisation and classification qualities for a
given confidence score threshold. LRP Error, initially proposed only for object
detection by Oksuz et al. (2018), does not suffer from the aforementioned
limitations and is applicable to all visual detection tasks. We also introduce
Optimal LRP (oLRP) Error as the minimum LRP Error obtained over confidence
scores to evaluate visual detectors and obtain optimal thresholds for
deployment. We provide a detailed comparative analysis of LRP Error with AP and
PQ, and use nearly 100 state-of-the-art visual detectors from seven visual
detection tasks (i.e. object detection, keypoint detection, instance
segmentation, panoptic segmentation, visual relationship detection, zero-shot
detection and generalised zero-shot detection) using ten datasets to
empirically show that LRP Error provides richer and more discriminative
information than its counterparts. Code available at:
https://github.com/kemaloksuz/LRP-Error
- Abstract(参考訳): 視覚検出タスクのパフォーマンス指標として広く使用されているが、平均精度(AP)は制限されている。
(i)ローカライゼーションの質を反映する
(ii)解釈可能性及び
(iii)その計算に関する設計上の選択に対する堅牢性、及び信頼度スコアのない出力への適用性。
panoptic quality (pq)は、panoptic segmentation (kirillov et al., 2019)を評価するための尺度であり、これらの制限に苦しむのではなく、panoptic segmentationに限定されている。
本稿では,所定の信頼度スコア閾値に対する局所化と分類品質の両方に基づいて算出された視覚検出器の平均マッチング誤差として局所化リコール精度(lrp)誤差を提案する。
LRP Error は当初 Oksuz et al. (2018) によるオブジェクト検出のためだけに提案されていたが、上記の制限に悩まされておらず、全ての視覚検出タスクに適用できる。
また, 最適LRP誤差(oLRP)を, 信頼度で得られた最小LRP誤差として導入し, 視覚検出器の評価を行い, 配置の最適しきい値を求める。
我々は,AP と PQ を用いた LRP Error の詳細な比較分析を行い,オブジェクト検出,キーポイント検出,インスタンスセグメンテーション,汎視的セグメンテーション,視覚的関係検出,ゼロショット検出,一般化ゼロショット検出)7つの視覚的タスクから,100近い最先端の視覚検出器を用いて,LRP Error がよりリッチで差別的な情報を提供することを示す。
https://github.com/kemaloksuz/LRP-Error
関連論文リスト
- CLIPping the Deception: Adapting Vision-Language Models for Universal
Deepfake Detection [3.849401956130233]
広汎な深度検出のための最近の適応手法と組み合わせた事前学習型視覚言語モデル(VLM)の有効性について検討する。
ディープフェイク検出にCLIPを適用するために、単一のデータセット(ProGAN)のみを使用します。
シンプルで軽量なPrompt Tuningベースの適応戦略は、以前のSOTAアプローチよりも5.01% mAPと6.61%の精度で優れている。
論文 参考訳(メタデータ) (2024-02-20T11:26:42Z) - A Low-cost Strategic Monitoring Approach for Scalable and Interpretable
Error Detection in Deep Neural Networks [6.537257913467249]
深層コンピュータビジョンネットワークのための高能率ランタイムモニタリング手法を提案する。
ハードウェアメモリと入力障害の両方から発生するサイレントデータの破損を効率よく検出することができる。
論文 参考訳(メタデータ) (2023-10-31T10:45:55Z) - A New Benchmark and Reverse Validation Method for Passage-level
Hallucination Detection [63.56136319976554]
大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。
本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。
提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
論文 参考訳(メタデータ) (2023-10-10T10:14:59Z) - Fast-DetectGPT: Efficient Zero-Shot Detection of Machine-Generated Text
via Conditional Probability Curvature [36.31281981509264]
大規模言語モデル(LLM)は、流動的でコジェントなコンテンツを生成する能力を示している。
信頼できるAIシステムを構築するためには、マシン生成コンテンツと人間によるコンテンツとを区別することが不可欠である。
Fast-DetectGPTは、ディテクターGPTの摂動ステップを、より効率的なサンプリングステップで置き換える最適化されたゼロショット検出器である。
論文 参考訳(メタデータ) (2023-10-08T11:41:28Z) - Small Object Detection via Coarse-to-fine Proposal Generation and
Imitation Learning [52.06176253457522]
本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。
CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-08-18T13:13:09Z) - Detect Any Deepfakes: Segment Anything Meets Face Forgery Detection and
Localization [30.317619885984005]
本稿では,視覚的セグメンテーション基盤モデル,すなわちセグメンテーションモデル(SAM)をフォージェリ検出とローカライゼーションの対面に導入する。
SAMに基づいて,Multiscale Adapterを用いたDADFフレームワークを提案する。
提案するフレームワークは、エンドツーエンドのフォージェリーローカライゼーションと検出最適化をシームレスに統合する。
論文 参考訳(メタデータ) (2023-06-29T16:25:04Z) - DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability
Curvature [143.5381108333212]
大規模な言語モデルからサンプリングされたテキストは、モデルのログ確率関数の負の曲率領域を占有する傾向にあることを示す。
次に、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。
我々は、モデルサンプル検出のための既存のゼロショット法よりもディテクターGPTの方が識別性が高いことを発見した。
論文 参考訳(メタデータ) (2023-01-26T18:44:06Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [55.52743265122446]
ディープオートエンコーダは視覚領域における異常検出のタスクに使われてきた。
我々は、訓練中に識別情報を使用することが可能な自己指導型学習体制を適用することで、この問題に対処する。
MVTec ADデータセットを用いた実験では,高い検出性能と局所化性能を示した。
論文 参考訳(メタデータ) (2022-06-23T14:16:30Z) - Dense Label Encoding for Boundary Discontinuity Free Rotation Detection [69.75559390700887]
本稿では,分類に基づく比較的研究の少ない方法論について検討する。
我々は2つの側面でフロンティアを推し進めるための新しい手法を提案する。
航空画像のための大規模公開データセットの実験と視覚解析は,我々のアプローチの有効性を示している。
論文 参考訳(メタデータ) (2020-11-19T05:42:02Z) - Collaborative Boundary-aware Context Encoding Networks for Error Map
Prediction [65.44752447868626]
本稿では,AEP-Net と呼ばれる協調的コンテキスト符号化ネットワークを提案する。
具体的には、画像とマスクのより優れた特徴融合のための協調的な特徴変換分岐と、エラー領域の正確な局所化を提案する。
AEP-Netはエラー予測タスクの平均DSCが0.8358,0.8164であり、ピアソン相関係数が0.9873である。
論文 参考訳(メタデータ) (2020-06-25T12:42:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。