論文の概要: Towards Evaluating the Robustness of Visual State Space Models

• arxiv url: http://arxiv.org/abs/2406.09407v2
• Date: Mon, 16 Sep 2024 10:55:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 01:46:04.810614
• Title: Towards Evaluating the Robustness of Visual State Space Models
• Title（参考訳）: 視覚状態空間モデルのロバスト性評価に向けて
• Authors: Hashmat Shadab Malik, Fahad Shamshad, Muzammal Naseer, Karthik Nandakumar, Fahad Shahbaz Khan, Salman Khan,
• Abstract要約: 視覚状態空間モデル(VSSM)は視覚知覚タスクにおいて顕著な性能を示した。 しかし、自然と敵対的な摂動の下での頑丈さは依然として重要な懸念事項である。 様々な摂動シナリオ下でのVSSMの頑健さを総合的に評価する。
• 参考スコア（独自算出の注目度）: 63.14954591606638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision State Space Models (VSSMs), a novel architecture that combines the strengths of recurrent neural networks and latent variable models, have demonstrated remarkable performance in visual perception tasks by efficiently capturing long-range dependencies and modeling complex visual dynamics. However, their robustness under natural and adversarial perturbations remains a critical concern. In this work, we present a comprehensive evaluation of VSSMs' robustness under various perturbation scenarios, including occlusions, image structure, common corruptions, and adversarial attacks, and compare their performance to well-established architectures such as transformers and Convolutional Neural Networks. Furthermore, we investigate the resilience of VSSMs to object-background compositional changes on sophisticated benchmarks designed to test model performance in complex visual scenes. We also assess their robustness on object detection and segmentation tasks using corrupted datasets that mimic real-world scenarios. To gain a deeper understanding of VSSMs' adversarial robustness, we conduct a frequency-based analysis of adversarial attacks, evaluating their performance against low-frequency and high-frequency perturbations. Our findings highlight the strengths and limitations of VSSMs in handling complex visual corruptions, offering valuable insights for future research. Our code and models will be available at https://github.com/HashmatShadab/MambaRobustness.
• Abstract（参考訳）: 視覚状態空間モデル(VSSM)は、リカレントニューラルネットワークと潜伏変数モデルの強みを組み合わせた新しいアーキテクチャであり、長距離依存を効率的にキャプチャし、複雑な視覚力学をモデル化することにより、視覚知覚タスクにおいて顕著なパフォーマンスを示した。 しかし、自然と敵対的な摂動の下での頑丈さは依然として重要な懸念事項である。 本稿では,オクルージョン,イメージ構造,共通汚職,敵対的攻撃など,様々な摂動シナリオ下でのVSSMの頑健さを包括的に評価し,その性能をトランスフォーマーや畳み込みニューラルネットワークなどの確立したアーキテクチャと比較する。 さらに、複雑な視覚シーンにおけるモデル性能をテストするために設計された高度なベンチマークにおいて、VSSMのオブジェクト指向合成変化に対するレジリエンスについて検討する。 また、実世界のシナリオを模倣した破損したデータセットを用いて、オブジェクトの検出とセグメンテーションタスクに対するロバスト性を評価する。 我々は,VSSMの対向的堅牢性をより深く理解するために,周波数に基づく対向的攻撃の解析を行い,低周波および高周波摂動に対する性能評価を行った。 我々の発見は、複雑な視覚的汚職を扱うVSSMの長所と短所を強調し、将来の研究に有用な洞察を提供する。 私たちのコードとモデルはhttps://github.com/HashmatShadab/MambaRobustness.comで公開されます。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• $\text{R}^2$-Bench: Benchmarking the Robustness of Referring Perception Models under Perturbations [36.74309198908876]
  摂動の包括的分類法を提案し, 複合障害の効果を合成・評価するための汎用ツールボックスを開発した。 LLMをベースとしたエージェントであるtextR2$-Agentを提案する。
  論文  参考訳（メタデータ） (2024-03-07T22:18:12Z)
• Interpretable Computer Vision Models through Adversarial Training: Unveiling the Robustness-Interpretability Connection [0.0]
  解釈可能性は、モデルを現実世界にデプロイする際には、堅牢性と同じくらい不可欠です。 標準モデルは、ロバストと比較して敵の攻撃に対してより感受性が高く、その学習された表現は人間にはあまり意味がない。
  論文  参考訳（メタデータ） (2023-07-04T13:51:55Z)
• Robustness Analysis on Foundational Segmentation Models [28.01242494123917]
  本研究では,セグメンテーションタスクのためのVisual Foundation Models (VFM) のロバストネス解析を行う。 2つの異なるデータセットを使用して、7つの最先端セグメンテーションアーキテクチャをベンチマークする。 VFMは、強靭性において不定形モデルをすべて上回るものではないにもかかわらず、圧縮誘起汚損に対する脆弱性を示し、マルチモーダルモデルはゼロショットシナリオにおける競争力を示し、VFMは特定の対象カテゴリに対して強靭性を示す。
  論文  参考訳（メタデータ） (2023-06-15T16:59:42Z)
• Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study [71.84852429039881]
  調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。 我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
  論文  参考訳（メタデータ） (2023-06-13T12:43:59Z)
• Reconstruction-guided attention improves the robustness and shape processing of neural networks [5.156484100374057]
  オブジェクト再構成を生成する反復エンコーダデコーダネットワークを構築し,トップダウンの注目フィードバックとして利用する。 本モデルでは,様々な画像摂動に対して強い一般化性能を示す。 本研究は、再構成に基づくフィードバックのモデリングが、強力な注意機構を持つAIシステムを実現することを示す。
  論文  参考訳（メタデータ） (2022-09-27T18:32:22Z)
• Adversarially-Aware Robust Object Detector [85.10894272034135]
  本稿では,ロバスト検出器 (RobustDet) を提案する。 本モデルは, クリーン画像の検出能力を維持しながら, 傾きを効果的に解き, 検出堅牢性を著しく向上させる。
  論文  参考訳（メタデータ） (2022-07-13T13:59:59Z)
• From Environmental Sound Representation to Robustness of 2D CNN Models Against Adversarial Attacks [82.21746840893658]
  本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
  論文  参考訳（メタデータ） (2022-04-14T15:14:08Z)
• Robustness in Deep Learning for Computer Vision: Mind the gap? [13.576376492050185]
  我々は、コンピュータビジョンのためのディープラーニングにおいて、現在の定義と非敵対的堅牢性に向けての進歩を特定し、分析し、要約する。 この研究の分野は、敵対的機械学習に対して、不当にあまり注目されていないことがわかりました。
  論文  参考訳（メタデータ） (2021-12-01T16:42:38Z)
• On the benefits of robust models in modulation recognition [53.391095789289736]
  畳み込み層を用いたディープニューラルネットワーク(DNN)は、通信における多くのタスクにおいて最先端である。 画像分類のような他の領域では、DNNは敵の摂動に弱いことが示されている。 最新モデルの堅牢性をテストするための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-27T19:58:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。