論文の概要: Benchmarking the Robustness of Instance Segmentation Models
- arxiv url: http://arxiv.org/abs/2109.01123v3
- Date: Fri, 28 Mar 2025 18:46:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-02 14:13:54.105882
- Title: Benchmarking the Robustness of Instance Segmentation Models
- Title(参考訳): インスタンス分割モデルのロバストさのベンチマーク
- Authors: Yusuf Dalva, Hamza Pehlivan, Said Fahri Altindis, Aysegul Dundar,
- Abstract要約: 本稿では,実世界の画像の破損や領域外画像の収集に関して,インスタンス分割モデルの包括的評価を行う。
グループ正規化は、画像の内容が同じだが、上に汚職が加えられている汚職間のネットワークの堅牢性を高める。
また、単段検出器はトレーニングサイズよりも画像解像度が大きくなるほど一般化しないことがわかった。
- 参考スコア(独自算出の注目度): 7.1699725781322465
- License:
- Abstract: This paper presents a comprehensive evaluation of instance segmentation models with respect to real-world image corruptions as well as out-of-domain image collections, e.g. images captured by a different set-up than the training dataset. The out-of-domain image evaluation shows the generalization capability of models, an essential aspect of real-world applications and an extensively studied topic of domain adaptation. These presented robustness and generalization evaluations are important when designing instance segmentation models for real-world applications and picking an off-the-shelf pretrained model to directly use for the task at hand. Specifically, this benchmark study includes state-of-the-art network architectures, network backbones, normalization layers, models trained starting from scratch versus pretrained networks, and the effect of multi-task training on robustness and generalization. Through this study, we gain several insights. For example, we find that group normalization enhances the robustness of networks across corruptions where the image contents stay the same but corruptions are added on top. On the other hand, batch normalization improves the generalization of the models across different datasets where statistics of image features change. We also find that single-stage detectors do not generalize well to larger image resolutions than their training size. On the other hand, multi-stage detectors can easily be used on images of different sizes. We hope that our comprehensive study will motivate the development of more robust and reliable instance segmentation models.
- Abstract(参考訳): 本稿では,実世界の画像の破損やドメイン外画像の収集,例えばトレーニングデータセットと異なるセットアップによってキャプチャされたg画像などに関して,総合的なインスタンス分割モデルの評価を行う。
領域外画像評価は、モデルの一般化能力、現実世界のアプリケーションの本質的な側面、及び領域適応に関する広範囲に研究されたトピックを示す。
これらのロバスト性および一般化評価は、実世界のアプリケーション向けにインスタンスセグメンテーションモデルを設計し、手元のタスクに直接使用するための既訓練モデルを選択する際に重要である。
具体的には、最先端のネットワークアーキテクチャ、ネットワークバックボーン、正規化層、スクラッチからトレーニングしたモデルと事前訓練されたネットワーク、堅牢性と一般化に対するマルチタスクトレーニングの効果について述べる。
本研究では,いくつかの知見を得た。
例えば、グループ正規化は、画像の内容が同じだが、上に汚職が加えられている汚職間のネットワークの堅牢性を高める。
一方、バッチ正規化は、画像の特徴統計が変化する異なるデータセット間のモデルの一般化を改善する。
また、単段検出器はトレーニングサイズよりも画像解像度が大きくなるほど一般化しないことがわかった。
一方、多段検出器は大きさの異なる画像に容易に使用することができる。
包括的な研究によって、より堅牢で信頼性の高いインスタンスセグメンテーションモデルの開発が動機になることを願っています。
関連論文リスト
- FoundIR: Unleashing Million-scale Training Data to Advance Foundation Models for Image Restoration [66.61201445650323]
既存の手法は現実のシナリオにおける一般化ボトルネックに悩まされる。
既存のトレーニングデータに対して,2つの大きなメリットがある,100万規模のデータセットをコントリビュートしています。
実世界のシナリオにおいて,より広範囲の復元作業に対処するために,ロバストなモデルFoundIRを提案する。
論文 参考訳(メタデータ) (2024-12-02T12:08:40Z) - In Search of Forgotten Domain Generalization [20.26519807919284]
Out-of-Domain (OOD) 一般化は、1つ以上のドメインでトレーニングされたモデルが見えないドメインに一般化する能力である。
コンピュータビジョンのImageNet時代において、モデルのOOD性能を測定するための評価セットは、スタイルに関して厳密にOODであるように設計されていた。
基礎モデルや拡張Webスケールデータセットの出現は、この評価プロセスを邪魔している。
論文 参考訳(メタデータ) (2024-10-10T17:50:45Z) - Zero-Shot Object-Centric Representation Learning [72.43369950684057]
ゼロショット一般化のレンズによる現在の対象中心法について検討する。
8つの異なる合成および実世界のデータセットからなるベンチマークを導入する。
多様な実世界の画像のトレーニングにより、見えないシナリオへの転送性が向上することがわかった。
論文 参考訳(メタデータ) (2024-08-17T10:37:07Z) - Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。
逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。
我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
論文 参考訳(メタデータ) (2024-06-19T08:07:14Z) - Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。
これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。
CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
論文 参考訳(メタデータ) (2024-03-15T17:33:49Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - Rethinking Self-Supervision Objectives for Generalizable Coherence
Modeling [8.329870357145927]
機械生成テキストのコヒーレンス評価は、検討すべきコヒーレンスモデルの主要な応用の1つである。
タスク全体にわたってうまく一般化するモデルをもたらす訓練データと自己超越目標について検討する。
本研究では, 負サンプルの密度の増加が基本モデルを改善することを実証的に示し, 大域的負のキューを用いることで, 強負のサンプルを訓練しながらモデルをさらに改善・安定化する。
論文 参考訳(メタデータ) (2021-10-14T07:44:14Z) - Salient Objects in Clutter [130.63976772770368]
本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。
この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。
我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
論文 参考訳(メタデータ) (2021-05-07T03:49:26Z) - Generative Interventions for Causal Learning [27.371436971655303]
我々は,新しい視点,背景,シーンコンテキストに一般化したロバストな視覚表現を学ぶためのフレームワークを提案する。
我々は, 生成モデルを用いて, コンバウンディング要因による特徴の介入を行うことができることを示す。
論文 参考訳(メタデータ) (2020-12-22T16:01:55Z) - Multi-task pre-training of deep neural networks for digital pathology [8.74883469030132]
私たちはまず、多くのデジタル病理データセットを22の分類タスクと約900kの画像のプールに組み立て、変換しました。
特徴抽出器として使用されるモデルは、ImageNet事前訓練されたモデルよりも大幅に改善されるか、同等のパフォーマンスを提供するかを示す。
論文 参考訳(メタデータ) (2020-05-05T08:50:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。