論文の概要: Evaluating Large-Vocabulary Object Detectors: The Devil is in the Details

• arxiv url: http://arxiv.org/abs/2102.01066v1
• Date: Mon, 1 Feb 2021 18:56:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-02 16:26:15.855807
• Title: Evaluating Large-Vocabulary Object Detectors: The Devil is in the Details
• Title（参考訳）: 大語彙物体検出器の評価:悪魔は細部にある
• Authors: Achal Dave, Piotr Doll\'ar, Deva Ramanan, Alexander Kirillov, Ross Girshick
• Abstract要約: 我々は、APのデフォルト実装はカテゴリー独立ではなく、適切に校正された検出器を直接報酬するものではないことを発見した。 既定の実装ではゲーム可能なメトリックが生成され、単純で非合理的な再ランクポリシーがAPを大きなマージンで改善できることが示される。 我々は,近年の大規模語彙検出の進歩をベンチマークし,新たなクラスごとの独立性評価において,多くの報告された利益が改善に結びついていないことを発見した。
• 参考スコア（独自算出の注目度）: 107.2722027807328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By design, average precision (AP) for object detection aims to treat all classes independently: AP is computed independently per category and averaged. On the one hand, this is desirable as it treats all classes, rare to frequent, equally. On the other hand, it ignores cross-category confidence calibration, a key property in real-world use cases. Unfortunately, we find that on imbalanced, large-vocabulary datasets, the default implementation of AP is neither category independent, nor does it directly reward properly calibrated detectors. In fact, we show that the default implementation produces a gameable metric, where a simple, nonsensical re-ranking policy can improve AP by a large margin. To address these limitations, we introduce two complementary metrics. First, we present a simple fix to the default AP implementation, ensuring that it is truly independent across categories as originally intended. We benchmark recent advances in large-vocabulary detection and find that many reported gains do not translate to improvements under our new per-class independent evaluation, suggesting recent improvements may arise from difficult to interpret changes to cross-category rankings. Given the importance of reliably benchmarking cross-category rankings, we consider a pooled version of AP (AP-pool) that rewards properly calibrated detectors by directly comparing cross-category rankings. Finally, we revisit classical approaches for calibration and find that explicitly calibrating detectors improves state-of-the-art on AP-pool by 1.7 points.
• Abstract（参考訳）: 設計上、オブジェクト検出のための平均精度(ap)は、すべてのクラスを独立して扱うことを目的としている。 一方、これは全てのクラスを扱い、まれに頻繁に、等しく扱うのが望ましい。 一方、現実世界のユースケースにおいて重要な特性であるカテゴリ間信頼度校正を無視する。 残念なことに、不均衡で大語彙のデータセットでは、APのデフォルト実装はカテゴリに依存していないし、適切に校正された検出器を直接報酬しない。 実際、既定の実装では、単純で非合理的な再ランクポリシーがAPを大きなマージンで改善できるゲーム可能なメトリックが生成される。 これらの制限に対処するために、2つの補完指標を紹介します。 まず、既定のAP実装に簡単な修正を加え、本来意図されていたようなカテゴリ間で真に独立であることを保証する。 最近の大語彙検出の進歩をベンチマークし、報告された多くの成果が、新しいクラス毎の独立評価の下での改善に繋がらないことを見出し、最近の改善は、クロスカテゴリランキングへの変更を解釈するのが困難であることを示唆する。 カテゴリ間ランキングを確実にベンチマークすることの重要性を考えると、カテゴリ間ランキングを直接比較することで、適切に校正された検出器に報酬を与えるAP(AP-pool)のプール版を考える。 最後に、キャリブレーションの古典的アプローチを再検討し、明示的に校正する検出器がAPプールの最先端を1.7ポイント改善することを発見した。

関連論文リスト

• Rank-DETR for High Quality Object Detection [52.82810762221516]
  高性能なオブジェクト検出器は、バウンディングボックス予測の正確なランキングを必要とする。 本研究では, 簡易かつ高性能なDETR型物体検出器について, 一連のランク指向設計を提案して紹介する。
  論文  参考訳（メタデータ） (2023-10-13T04:48:32Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Revisiting AP Loss for Dense Object Detection: Adaptive Ranking Pair Selection [19.940491797959407]
  本研究では, 平均精度 (AP) の損失を再考し, その重要な要素は, 正試料と負試料のランキングペアを選択することであることを明らかにした。 本稿では,AP損失を改善するための2つの方法を提案する。第1に,APE(Adaptive Pairwise Error)損失は,正と負の両方のサンプルにおいて,ペアのランク付けに重点を置いている。 MSCOCOデータセットで行った実験は、現在の分類とランキングの損失と比較して、提案手法の優位性を実証し、分析を支援した。
  論文  参考訳（メタデータ） (2022-07-25T10:33:06Z)
• Hierarchical Average Precision Training for Pertinent Image Retrieval [0.0]
  本稿では,HAP-PIER (Pertinent Image Search) のための階層型APトレーニング手法を提案する。 HAP-PIERは、エラーの重要性とランキングのより良い評価を統合する新しいH-APメトリックに基づいている。 6つのデータセットの実験により、HAPPIERは階層的検索において最先端の手法を大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2022-07-05T07:55:18Z)
• Beyond mAP: Towards better evaluation of instance segmentation [23.562251593257674]
  平均精度は、ハイリコール範囲における重複予測をペナルティ化しない。 本研究では,空間的およびカテゴリー的両方の重複予測の量を明示的に測定する2つの新しい手法を提案する。 当社のセマンティックソーティングとNMSは,ヘッジド予測を緩和し,APを保存するためのプラグイン・アンド・プレイモジュールとして追加することができる。
  論文  参考訳（メタデータ） (2022-07-04T17:56:14Z)
• Decision Making for Hierarchical Multi-label Classification with Multidimensional Local Precision Rate [4.812468844362369]
  我々は,各クラスの各対象に対して,多次元局所精度率 (mLPR) と呼ばれる新しい統計モデルを導入する。 我々は,mLPRの下位順序でクラス間でオブジェクトをソートするだけで,クラス階層を確実にすることができることを示す。 これに対し、階層を尊重しながら推定mLPRを用いてCATCHの実証バージョンを最大化する新しいアルゴリズムであるHierRankを導入する。
  論文  参考訳（メタデータ） (2022-05-16T17:43:35Z)
• Open-Set Recognition: A Good Closed-Set Classifier is All You Need [146.6814176602689]
  分類器が「ゼロ・オブ・ア・ア・ア・ベ」決定を行う能力は、閉集合クラスにおける精度と高い相関関係があることが示される。 この相関を利用して、閉セット精度を向上させることにより、クロスエントロピーOSR'ベースライン'の性能を向上させる。 また、セマンティックノベルティを検出するタスクをより尊重する新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-10-12T17:58:59Z)
• AP-Loss for Accurate One-Stage Object Detection [49.13608882885456]
  一段階の物体検出器は、分類損失と局所化損失を同時に最適化することによって訓練される。 前者は、多数のアンカーのため、非常に前景と後方のアンカーの不均衡に悩まされる。 本稿では,一段検知器の分類タスクをランキングタスクに置き換える新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2020-08-17T13:22:01Z)
• Smooth-AP: Smoothing the Path Towards Large-Scale Image Retrieval [94.73459295405507]
  Smooth-APは、ディープネットワークのエンドツーエンドトレーニングを可能にする、プラグアンドプレイの客観的機能である。 我々はSmooth-APをStanford Online製品とVabyIDの標準ベンチマークに適用する。 Inaturalist for fine-fine category search, VGGFace2 and IJB-C for face search。
  論文  参考訳（メタデータ） (2020-07-23T17:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。