論文の概要: SemSegBench & DetecBench: Benchmarking Reliability and Generalization Beyond Classification

• arxiv url: http://arxiv.org/abs/2505.18015v1
• Date: Fri, 23 May 2025 15:17:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.187423
• Title: SemSegBench & DetecBench: Benchmarking Reliability and Generalization Beyond Classification
• Title（参考訳）: SemSegBench & DetecBench: 信頼性のベンチマークと分類以外の一般化
• Authors: Shashank Agnihotri, David Schader, Jonas Jakubassa, Nico Sharei, Simon Kral, Mehmet Ege Kaçar, Ruben Weber, Margret Keuper,
• Abstract要約: 分散シフトに対する堅牢性や敵の操作に関するベンチマークツールを提供する。 4つのデータセットで76のセグメンテーションモデルと2つのデータセットで61のオブジェクト検出器をベンチマークします。 本研究は, 最先端モデルにおける系統的弱点を明らかにし, アーキテクチャ, バックボーン, モデルキャパシティに基づく重要なトレンドを明らかにする。
• 参考スコア（独自算出の注目度）: 9.779472630665982
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliability and generalization in deep learning are predominantly studied in the context of image classification. Yet, real-world applications in safety-critical domains involve a broader set of semantic tasks, such as semantic segmentation and object detection, which come with a diverse set of dedicated model architectures. To facilitate research towards robust model design in segmentation and detection, our primary objective is to provide benchmarking tools regarding robustness to distribution shifts and adversarial manipulations. We propose the benchmarking tools SEMSEGBENCH and DETECBENCH, along with the most extensive evaluation to date on the reliability and generalization of semantic segmentation and object detection models. In particular, we benchmark 76 segmentation models across four datasets and 61 object detectors across two datasets, evaluating their performance under diverse adversarial attacks and common corruptions. Our findings reveal systematic weaknesses in state-of-the-art models and uncover key trends based on architecture, backbone, and model capacity. SEMSEGBENCH and DETECBENCH are open-sourced in our GitHub repository (https://github.com/shashankskagnihotri/benchmarking_reliability_generalization) along with our complete set of total 6139 evaluations. We anticipate the collected data to foster and encourage future research towards improved model reliability beyond classification.
• Abstract（参考訳）: 深層学習における信頼性と一般化は画像分類の文脈において主に研究されている。 しかし、セーフティクリティカルなドメインにおける現実世界のアプリケーションは、セマンティックセグメンテーションやオブジェクト検出といった、より広範なセマンティックなタスクのセットを含んでいる。 セグメンテーションと検出におけるロバストモデル設計に向けた研究を容易にするため,我々の主な目的は,分散シフトに対するロバスト性や対角的操作に関するベンチマークツールを提供することである。 本稿では,セマンティックセグメンテーションとオブジェクト検出モデルの信頼性と一般化に関する最も広範な評価とともに,SEMSEGBENCHとDETECBENCHのベンチマークツールを提案する。 特に、4つのデータセットに76のセグメンテーションモデルをベンチマークし、2つのデータセットに61のオブジェクト検出器をベンチマークし、その性能を多様な敵攻撃と共通の腐敗下で評価した。 本研究は, 最先端モデルにおける系統的弱点を明らかにし, アーキテクチャ, バックボーン, モデルキャパシティに基づく重要なトレンドを明らかにする。 SEMSEGBENCHとDETECBENCHは、私たちのGitHubリポジトリ(https://github.com/shashankskagnihotri/benchmarking_reliability_ generalization)でオープンソース化されています。 我々は収集したデータを予測し、分類を超えたモデルの信頼性向上に向けた将来の研究を奨励し、奨励する。

関連論文リスト

• Hybrid-Segmentor: A Hybrid Approach to Automated Fine-Grained Crack Segmentation in Civil Infrastructure [52.2025114590481]
  エンコーダ・デコーダをベースとした手法であるHybrid-Segmentorを導入する。 これにより、モデルは、様々な種類の形状、表面、き裂の大きさを区別する一般化能力を向上させることができる。 提案モデルは,5つの測定基準(精度0.971,精度0.804,リコール0.744,F1スコア0.770,IoUスコア0.630)で既存ベンチマークモデルより優れ,最先端の状態を達成している。
  論文  参考訳（メタデータ） (2024-09-04T16:47:16Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
  ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。 画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。 オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
  論文  参考訳（メタデータ） (2023-07-07T04:03:48Z)
• Robustness Analysis on Foundational Segmentation Models [28.01242494123917]
  本研究では,セグメンテーションタスクのためのVisual Foundation Models (VFM) のロバストネス解析を行う。 2つの異なるデータセットを使用して、7つの最先端セグメンテーションアーキテクチャをベンチマークする。 VFMは、強靭性において不定形モデルをすべて上回るものではないにもかかわらず、圧縮誘起汚損に対する脆弱性を示し、マルチモーダルモデルはゼロショットシナリオにおける競争力を示し、VFMは特定の対象カテゴリに対して強靭性を示す。
  論文  参考訳（メタデータ） (2023-06-15T16:59:42Z)
• GEO-Bench: Toward Foundation Models for Earth Monitoring [139.77907168809085]
  6つの分類と6つのセグメンテーションタスクからなるベンチマークを提案する。 このベンチマークは、さまざまな地球観測タスクの進行の原動力となる。
  論文  参考訳（メタデータ） (2023-06-06T16:16:05Z)
• Benchmarking the Robustness of Instance Segmentation Models [7.1699725781322465]
  本稿では,実世界の画像の破損や領域外画像の収集に関して,インスタンス分割モデルの包括的評価を行う。 グループ正規化は、画像の内容が同じだが、上に汚職が加えられている汚職間のネットワークの堅牢性を高める。 また、単段検出器はトレーニングサイズよりも画像解像度が大きくなるほど一般化しないことがわかった。
  論文  参考訳（メタデータ） (2021-09-02T17:50:07Z)
• Estimating the Robustness of Classification Models by the Structure of the Learned Feature-Space [10.418647759223964]
  固定テストセットは、可能なデータバリエーションのごく一部しかキャプチャできないため、制限され、新しい過度なソリューションを生成する傾向にある、と私たちは主張する。 これらの欠点を克服するために、学習した特徴空間の構造から直接モデルのロバスト性を推定することを提案する。
  論文  参考訳（メタデータ） (2021-06-23T10:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。