論文の概要: Robustness Analysis on Foundational Segmentation Models
- arxiv url: http://arxiv.org/abs/2306.09278v1
- Date: Thu, 15 Jun 2023 16:59:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 13:47:57.889677
- Title: Robustness Analysis on Foundational Segmentation Models
- Title(参考訳): 基礎セグメンテーションモデルのロバスト性解析
- Authors: Madeline Chantry Schiappa, Sachidanand VS, Yunhao Ge, Ondrej Miksik,
Yogesh S. Rawat, Vibhav Vineet
- Abstract要約: モデルはしばしば、分類、オブジェクト検出、セグメンテーションといったさまざまな下流タスクに適応し、ターゲットデータセットでほとんどトレーニングされない。
我々は、COCOとADE20Kという2つの異なるデータセットを使用して、4つの最先端セグメンテーションアーキテクチャをベンチマークした。
我々は,(1)VFMは圧縮による汚損に対して堅牢ではないこと,(2)選択されたVFMは非VFMモデルに比べて顕著に性能が向上したり堅牢性を示したりしないが,ゼロショット評価では競争的に堅牢であること,などの興味深い洞察を得た。
- 参考スコア(独自算出の注目度): 13.415144081943513
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the increase in computational resources and accessibility of data, an
increase in large, deep learning models trained on copious amounts of data
using self-supervised or semi-supervised learning have emerged. These
"foundation" models are often adapted to a variety of downstream tasks like
classification, object detection, and segmentation with little-to-no training
on the target dataset. In this work, we perform a robustness analysis of Visual
Foundation Models (VFMs) for segmentation tasks and compare them to supervised
models of smaller scale. We focus on robustness against real-world distribution
shift perturbations.We benchmark four state-of-the-art segmentation
architectures using 2 different datasets, COCO and ADE20K, with 17 different
perturbations with 5 severity levels each. We find interesting insights that
include (1) VFMs are not robust to compression-based corruptions, (2) while the
selected VFMs do not significantly outperform or exhibit more robustness
compared to non-VFM models, they remain competitively robust in zero-shot
evaluations, particularly when non-VFM are under supervision and (3) selected
VFMs demonstrate greater resilience to specific categories of objects, likely
due to their open-vocabulary training paradigm, a feature that non-VFM models
typically lack. We posit that the suggested robustness evaluation introduces
new requirements for foundational models, thus sparking further research to
enhance their performance.
- Abstract(参考訳): 計算資源の増加とデータのアクセシビリティにより、自己教師付きあるいは半教師付き学習を用いた大量のデータに基づいてトレーニングされた大規模ディープラーニングモデルの増加がみられた。
これらの「基礎」モデルは、しばしば分類、オブジェクト検出、セグメンテーションなどの下流の様々なタスクに適応され、ターゲットデータセットでのトレーニングはほとんど行われない。
本研究では,Visual Foundation Models (VFM) のセグメンテーションタスクに対するロバストネス解析を行い,それらを小規模の教師付きモデルと比較する。
我々は,実世界の分散シフト摂動に対するロバスト性に着目し,coco と ade20k の2つの異なるデータセットを用いて4つの最先端セグメンテーションアーキテクチャをベンチマークした。
We find interesting insights that include (1) VFMs are not robust to compression-based corruptions, (2) while the selected VFMs do not significantly outperform or exhibit more robustness compared to non-VFM models, they remain competitively robust in zero-shot evaluations, particularly when non-VFM are under supervision and (3) selected VFMs demonstrate greater resilience to specific categories of objects, likely due to their open-vocabulary training paradigm, a feature that non-VFM models typically lack.
提案するロバスト性評価は,基礎モデルの新たな要件を導入し,その性能向上に向けたさらなる研究を提起する。
関連論文リスト
- Robust Training of Federated Models with Extremely Label Deficiency [84.00832527512148]
フェデレーション半教師付き学習(FSSL)は、ラベル不足を伴う分散データを用いて機械学習モデルを協調訓練するための強力なパラダイムとして登場した。
我々は,ラベル付きおよびラベルなしデータの異なる視点から洞察を提供することにより相互指導を強化するために,ツインサイトと呼ばれる新しいツインモデルパラダイムを提案する。
4つのベンチマークデータセットに関する包括的な実験は、Twin-sightが様々な実験環境において最先端の手法を著しく上回っていることを示す重要な証拠となる。
論文 参考訳(メタデータ) (2024-02-22T10:19:34Z) - A Novel Benchmark for Few-Shot Semantic Segmentation in the Era of
Foundation Models [4.556379212564313]
DINO V2, Segment Anything, CLIP, Masked AutoEncoders, COCOデータセットで事前トレーニングされた簡単なResNet50について検討した。
本研究は,新しいセグメンテーションタスクへの適応性に着目し,少数のセグメンテーション画像のみを活用する。
本研究は,適応技術自体の複雑さよりも,頑健な特徴抽出器を選択することの重要性を強調した。
論文 参考訳(メタデータ) (2024-01-20T19:50:51Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-03-13T16:00:31Z) - An Empirical Study of Deep Learning Models for Vulnerability Detection [4.243592852049963]
我々は、広く使われている2つの脆弱性検出データセット上で、最先端の9つのディープラーニングモデルを調査し、再現した。
モデル能力,トレーニングデータ,モデル解釈について検討した。
我々の研究結果は、モデル結果の理解を深め、トレーニングデータ作成のガイダンスを提供し、モデルの堅牢性を向上させるのに役立つ。
論文 参考訳(メタデータ) (2022-12-15T19:49:34Z) - An Empirical Study on Multi-Domain Robust Semantic Segmentation [42.79166534691889]
我々は、いくつかの人気セグメンテーションデータセットに基づいて、ドメイン間でうまく機能することが期待される統一モデルをトレーニングする。
RVC 2022セマンティックセマンティックセグメンテーションタスクでは,データセットは第1モデルの1/3に過ぎなかった。
論文 参考訳(メタデータ) (2022-12-08T12:04:01Z) - CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal
Relationships [8.679073301435265]
既存のデータに摂動を適用することにより、モデルロバスト性の評価と改善のための新しいベンチマークを構築する。
我々はこれらのラベルを使用して、現場から非因果的エージェントを削除することでデータを摂動する。
非因果摂動下では, minADE の相対的な変化は, 原型と比較して25$-$38%である。
論文 参考訳(メタデータ) (2022-07-07T21:28:23Z) - An Empirical Study on Distribution Shift Robustness From the Perspective
of Pre-Training and Data Augmentation [91.62129090006745]
本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。
我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
論文 参考訳(メタデータ) (2022-05-25T13:04:53Z) - Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。
Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文 参考訳(メタデータ) (2021-10-07T11:58:35Z) - On the Efficacy of Adversarial Data Collection for Question Answering:
Results from a Large-Scale Randomized Study [65.17429512679695]
逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。
ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
論文 参考訳(メタデータ) (2021-06-02T00:48:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。