論文の概要: Core Risk Minimization using Salient ImageNet

• arxiv url: http://arxiv.org/abs/2203.15566v1
• Date: Mon, 28 Mar 2022 01:53:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 12:40:22.347822
• Title: Core Risk Minimization using Salient ImageNet
• Title（参考訳）: Salient ImageNet を用いたコアリスク最小化
• Authors: Sahil Singla, Mazda Moayeri, Soheil Feizi
• Abstract要約: 私たちは、1000のImagenetクラスのコアとスプリアス機能をローカライズする100万人以上のソフトマスクを備えたSalient Imagenetデータセットを紹介します。 このデータセットを用いて、まず、いくつかのImagenet事前訓練されたモデル(総計42件)の素早い特徴に対する依存度を評価する。 次に、コアリスク最小化(CoRM)と呼ばれる新しい学習パラダイムを導入する。
• 参考スコア（独自算出の注目度）: 53.616101711801484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks can be unreliable in the real world especially when they heavily use spurious features for their predictions. Recently, Singla & Feizi (2022) introduced the Salient Imagenet dataset by annotating and localizing core and spurious features of ~52k samples from 232 classes of Imagenet. While this dataset is useful for evaluating the reliance of pretrained models on spurious features, its small size limits its usefulness for training models. In this work, we first introduce the Salient Imagenet-1M dataset with more than 1 million soft masks localizing core and spurious features for all 1000 Imagenet classes. Using this dataset, we first evaluate the reliance of several Imagenet pretrained models (42 total) on spurious features and observe that: (i) transformers are more sensitive to spurious features compared to Convnets, (ii) zero-shot CLIP transformers are highly susceptible to spurious features. Next, we introduce a new learning paradigm called Core Risk Minimization (CoRM) whose objective ensures that the model predicts a class using its core features. We evaluate different computational approaches for solving CoRM and achieve significantly higher (+12%) core accuracy (accuracy when non-core regions corrupted using noise) with no drop in clean accuracy compared to models trained via Empirical Risk Minimization.
• Abstract（参考訳）: ディープニューラルネットワークは、特に予測にスプリアス機能を多用すると、現実世界では信頼できない場合がある。 最近、Singla & Feizi (2022)は、232クラスのImagenetのコアと52kのサンプルをアノテートし、ローカライズすることで、Salient Imagenetデータセットを導入した。 このデータセットは、事前訓練されたモデルの予備的な特徴への依存を評価するのに有用であるが、その小さなサイズは、トレーニングモデルに対する有用性を制限している。 本研究では,1000のImagenetクラスのコアとスプリアス機能をローカライズした100万以上のソフトマスクを備えたSalient Imagenet-1Mデータセットについて紹介する。 このデータセットを用いて、まず、いくつかのimagenetプリトレーニングモデル(合計42)のスプリアス機能への依存度を評価し、それを観察します。 (i)変圧器はコンネットに比べて刺激的な特徴に敏感である。 (ii)ゼロショットCLIP変換器は、刺激的な特徴に非常に敏感である。 次に,コアリスク最小化(core risk minimization, corm)と呼ばれる新しい学習パラダイムを導入する。 実験的なリスク最小化によって訓練されたモデルと比較して,コームの解法を異なる計算手法で評価し,(ノイズで非コア領域が破損した場合の精度)コア精度を有意に高く(+12%)達成した。

関連論文リスト

• TinyMIM: An Empirical Study of Distilling MIM Pre-trained Models [31.16595289223858]
  マスク付き画像モデリング(MIM)は、事前学習大型視覚変換器(ViT)に強く貢献する しかし、現実世界のアプリケーションにとって重要な小さなモデルは、この事前学習アプローチの恩恵を受けることはできない。 我々は,MIMをベースとした大規模プレトレーニングモデルの成功を,より小さなモデルに伝達する蒸留技術について検討する。
  論文  参考訳（メタデータ） (2023-01-03T18:59:54Z)
• Spurious Features Everywhere -- Large-Scale Detection of Harmful Spurious Features in ImageNet [36.48282338829549]
  本稿では,ImageNetのような大規模データセットにおいて,突発的特徴を体系的に識別するフレームワークを開発する。 我々は,クラス単独で有害な刺激的特徴の存在が,そのクラスの予測を誘発するのに十分であることを示すことによって,その結果を検証する。 我々はSpuFixを単純な緩和法として導入し、これまで同定された有害なスプリアス機能に対するImageNet分類器の依存を減らす。
  論文  参考訳（メタデータ） (2022-12-09T14:23:25Z)
• DeepDC: Deep Distance Correlation as a Perceptual Image Quality Evaluator [53.57431705309919]
  ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。 我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。 5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
  論文  参考訳（メタデータ） (2022-11-09T14:57:27Z)
• DOMINO: Domain-aware Model Calibration in Medical Image Segmentation [51.346121016559024]
  現代のディープニューラルネットワークはキャリブレーションが不十分で、信頼性と信頼性を損なう。 本稿では,クラスラベル間のセマンティック・コンフューザビリティと階層的類似性を利用したドメイン認識モデルキャリブレーション手法であるDOMINOを提案する。 その結果,DOMINOを校正したディープニューラルネットワークは,頭部画像分割における非校正モデルや最先端形態計測法よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-13T15:31:52Z)
• Corrupted Image Modeling for Self-Supervised Visual Pre-Training [103.99311611776697]
  自己教師型視覚前訓練のためのCIM(Corrupted Image Modeling)を提案する。 CIMは、小さなトレーニング可能なBEiTを備えた補助発電機を使用して、人工マスクトークンを使用する代わりに入力イメージを破損させる。 事前トレーニング後、エンハンサーは下流タスク用の高容量ビジュアルエンコーダとして使用できる。
  論文  参考訳（メタデータ） (2022-02-07T17:59:04Z)
• A Comprehensive Study of Image Classification Model Sensitivity to Foregrounds, Backgrounds, and Visual Attributes [58.633364000258645]
  このデータセットをRIVAL10と呼びます。 本研究では,前景,背景,属性の騒音劣化に対する幅広いモデルの感度を評価する。 本稿では,多種多様な最先端アーキテクチャ (ResNets, Transformers) とトレーニング手順 (CLIP, SimCLR, DeiT, Adversarial Training) について考察する。
  論文  参考訳（メタデータ） (2022-01-26T06:31:28Z)
• Towards Robustness of Neural Networks [0.0]
  我々は、画像Net-A/O と ImageNet-R と、合成環境とテストスイートである CAOS を紹介した。 すべてのデータセットは、ロバストネスのテストとロバストネスの進捗測定のために作成されました。 我々は、単純なベースラインを最大ロジット、典型スコアの形式で構築するとともに、DeepAugmentの形式で新しいデータ拡張手法を作成します。
  論文  参考訳（メタデータ） (2021-12-30T19:41:10Z)
• Shape-Texture Debiased Neural Network Training [50.6178024087048]
  畳み込みニューラルネットワークは、トレーニングデータセットによって、テクスチャまたは形状にバイアスされることが多い。 形状・テクスチャ・デバイアスド学習のためのアルゴリズムを開発した。 実験により,本手法は複数の画像認識ベンチマークにおけるモデル性能の向上に成功していることが示された。
  論文  参考訳（メタデータ） (2020-10-12T19:16:12Z)
• Impact of ImageNet Model Selection on Domain Adaptation [26.016647703500883]
  本稿では,異なる画像ネットモデルがドメイン適応問題に対する転送精度に与える影響について検討する。 ImageNetモデルの精度が向上し、ドメイン適応問題の精度が向上する。 また、各ニューラルネットワークのアーキテクチャを調べ、特徴抽出に最適な層を見つける。
  論文  参考訳（メタデータ） (2020-02-06T23:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。