論文の概要: Robustness Analysis on Foundational Segmentation Models

• arxiv url: http://arxiv.org/abs/2306.09278v2
• Date: Fri, 26 Apr 2024 17:51:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 01:24:18.969780
• Title: Robustness Analysis on Foundational Segmentation Models
• Title（参考訳）: 基本セグメンテーションモデルにおけるロバストネス解析
• Authors: Madeline Chantry Schiappa, Shehreen Azad, Sachidanand VS, Yunhao Ge, Ondrej Miksik, Yogesh S. Rawat, Vibhav Vineet,
• Abstract要約: 本研究では,セグメンテーションタスクのためのVisual Foundation Models (VFM) のロバストネス解析を行う。 2つの異なるデータセットを使用して、7つの最先端セグメンテーションアーキテクチャをベンチマークする。 VFMは、強靭性において不定形モデルをすべて上回るものではないにもかかわらず、圧縮誘起汚損に対する脆弱性を示し、マルチモーダルモデルはゼロショットシナリオにおける競争力を示し、VFMは特定の対象カテゴリに対して強靭性を示す。
• 参考スコア（独自算出の注目度）: 28.01242494123917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to the increase in computational resources and accessibility of data, an increase in large, deep learning models trained on copious amounts of multi-modal data using self-supervised or semi-supervised learning have emerged. These ``foundation'' models are often adapted to a variety of downstream tasks like classification, object detection, and segmentation with little-to-no training on the target dataset. In this work, we perform a robustness analysis of Visual Foundation Models (VFMs) for segmentation tasks and focus on robustness against real-world distribution shift inspired perturbations. We benchmark seven state-of-the-art segmentation architectures using 2 different perturbed datasets, MS COCO-P and ADE20K-P, with 17 different perturbations with 5 severity levels each. Our findings reveal several key insights: (1) VFMs exhibit vulnerabilities to compression-induced corruptions, (2) despite not outpacing all of unimodal models in robustness, multimodal models show competitive resilience in zero-shot scenarios, and (3) VFMs demonstrate enhanced robustness for certain object categories. These observations suggest that our robustness evaluation framework sets new requirements for foundational models, encouraging further advancements to bolster their adaptability and performance. The code and dataset is available at: \url{https://tinyurl.com/fm-robust}.
• Abstract（参考訳）: 計算資源の増加とデータのアクセシビリティのため、自己教師型あるいは半教師型学習を用いた多モードデータに対処するために訓練された大規模なディープラーニングモデルの増加がみられた。 これらの `foundation'' モデルは、しばしば、分類、オブジェクト検出、セグメンテーションのような様々な下流タスクに適応する。 本研究では,Visual Foundation Models(VFM)のセグメンテーションタスクに対するロバストネス解析を行い,実世界の分散シフトにインスパイアされた摂動に対するロバストネスに着目した。 我々は、MS COCO-PとADE20K-Pの2つの異なる摂動データセットを用いて、7つの最先端セグメンテーションアーキテクチャをベンチマークした。 以上の結果から,(1)VFMは圧縮誘起汚損の脆弱性を示し,(2)強靭性では不定形モデルがすべて上回らないにもかかわらず,マルチモーダルモデルはゼロショットシナリオにおいて競争力を示し,(3)VFMは特定の対象カテゴリに対して強靭性を示す。 これらの結果から,我々のロバスト性評価フレームワークが基礎モデルの新たな要件を設定し,適応性と性能を高めるためのさらなる進歩を促すことが示唆された。 コードとデータセットは: \url{https://tinyurl.com/fm-robust}.comで公開されている。

関連論文リスト

• Multi-OCT-SelfNet: Integrating Self-Supervised Learning with Multi-Source Data Fusion for Enhanced Multi-Class Retinal Disease Classification [2.5091334993691206]
  網膜疾患診断のための堅牢なディープラーニングモデルの開発には、トレーニングのためのかなりのデータセットが必要である。 より小さなデータセットで効果的に一般化する能力は、依然として永続的な課題である。 さまざまなデータソースを組み合わせて、パフォーマンスを改善し、新しいデータに一般化しています。
  論文  参考訳（メタデータ） (2024-09-17T17:22:35Z)
• Towards Evaluating the Robustness of Visual State Space Models [63.14954591606638]
  視覚状態空間モデル(VSSM)は視覚知覚タスクにおいて顕著な性能を示した。 しかし、自然と敵対的な摂動の下での頑丈さは依然として重要な懸念事項である。 様々な摂動シナリオ下でのVSSMの頑健さを総合的に評価する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:44Z)
• Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
  CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。 これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。 CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-03-15T17:33:49Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Benchmarking the Robustness of LiDAR Semantic Segmentation Models [78.6597530416523]
  本稿では,LiDARセマンティックセグメンテーションモデルのロバスト性を,様々な汚職の下で包括的に解析することを目的とする。 本稿では,悪天候,計測ノイズ,デバイス間不一致という3つのグループで16のドメイン外LiDAR破損を特徴とするSemanticKITTI-Cというベンチマークを提案する。 我々は、単純だが効果的な修正によってロバスト性を大幅に向上させるロバストLiDARセグメンテーションモデル(RLSeg)を設計する。
  論文  参考訳（メタデータ） (2023-01-03T06:47:31Z)
• An Empirical Study on Multi-Domain Robust Semantic Segmentation [42.79166534691889]
  我々は、いくつかの人気セグメンテーションデータセットに基づいて、ドメイン間でうまく機能することが期待される統一モデルをトレーニングする。 RVC 2022セマンティックセマンティックセグメンテーションタスクでは,データセットは第1モデルの1/3に過ぎなかった。
  論文  参考訳（メタデータ） (2022-12-08T12:04:01Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal Relationships [8.679073301435265]
  既存のデータに摂動を適用することにより、モデルロバスト性の評価と改善のための新しいベンチマークを構築する。 我々はこれらのラベルを使用して、現場から非因果的エージェントを削除することでデータを摂動する。 非因果摂動下では, minADE の相対的な変化は, 原型と比較して25$-$38%である。
  論文  参考訳（メタデータ） (2022-07-07T21:28:23Z)
• Learning Robust Representation for Clustering through Locality Preserving Variational Discriminative Network [16.259673823482665]
  Variational Deep Embeddingは、さまざまなクラスタリングタスクで大きな成功を収めます。 VaDEは,1)入力ノイズに弱い,2)隣接するデータポイント間の局所性情報を無視する,という2つの問題に悩まされている。 強固な埋め込み判別器と局所構造制約によりvadeを改善する共同学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-25T02:31:55Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。