論文の概要: Does Robustness on ImageNet Transfer to Downstream Tasks?

• arxiv url: http://arxiv.org/abs/2204.03934v1
• Date: Fri, 8 Apr 2022 08:55:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-11 12:14:02.197321
• Title: Does Robustness on ImageNet Transfer to Downstream Tasks?
• Title（参考訳）: imagenetのダウンストリームタスクへのロバスト性は?
• Authors: Yutaro Yamada, Mayu Otani
• Abstract要約: 我々は、バニラスウィントランスフォーマーが、ImageNetの破損したバージョンに対して堅牢であるように訓練された畳み込みニューラルネットワークよりも堅牢性が高いことを示す。 CIFAR10分類では、ImageNetで頑健なモデルでは、完全に微調整された場合、頑健さを保たない。
• 参考スコア（独自算出の注目度）: 9.594432031144716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As clean ImageNet accuracy nears its ceiling, the research community is increasingly more concerned about robust accuracy under distributional shifts. While a variety of methods have been proposed to robustify neural networks, these techniques often target models trained on ImageNet classification. At the same time, it is a common practice to use ImageNet pretrained backbones for downstream tasks such as object detection, semantic segmentation, and image classification from different domains. This raises a question: Can these robust image classifiers transfer robustness to downstream tasks? For object detection and semantic segmentation, we find that a vanilla Swin Transformer, a variant of Vision Transformer tailored for dense prediction tasks, transfers robustness better than Convolutional Neural Networks that are trained to be robust to the corrupted version of ImageNet. For CIFAR10 classification, we find that models that are robustified for ImageNet do not retain robustness when fully fine-tuned. These findings suggest that current robustification techniques tend to emphasize ImageNet evaluations. Moreover, network architecture is a strong source of robustness when we consider transfer learning.
• Abstract（参考訳）: ImageNetの精度が天井に近づくにつれ、研究コミュニティは、分散シフトの下で堅牢な精度をますます懸念している。 ニューラルネットワークを堅牢化するための様々な手法が提案されているが、これらの手法はしばしばImageNet分類に基づいてトレーニングされたモデルをターゲットにしている。 同時に、オブジェクト検出、セマンティックセグメンテーション、異なるドメインからのイメージ分類といった下流タスクにImageNet事前訓練されたバックボーンを使用するのが一般的である。 これらのロバストなイメージ分類器は、下流のタスクにロバストを転送できるか? オブジェクトの検出とセマンティックセマンティックセグメンテーションでは、高密度な予測タスクに適したVision Transformerの変種であるバニラSwin Transformerが、ImageNetの破損したバージョンに対して堅牢であるようにトレーニングされた畳み込みニューラルネットワークよりも堅牢性を伝達することがわかった。 CIFAR10分類では、ImageNetで頑健なモデルでは、完全に微調整された場合、頑健さを保たない。 これらの結果は,現在のロバスト化手法がイメージネット評価を強調する傾向があることを示唆する。 さらに、ネットワークアーキテクチャは、転送学習を考えるときの堅牢性の強い源である。

関連論文リスト

• ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object [78.58860252442045]
  我々は、深層モデルの堅牢性をベンチマークするハードイメージのためのデータソースとして、生成モデルを紹介した。 このベンチマークを ImageNet-D と呼ぶ以前の作業よりも、背景、テクスチャ、材料が多様化したイメージを生成することができます。 我々の研究は、拡散モデルが視覚モデルをテストするのに効果的な情報源となることを示唆している。
  論文  参考訳（メタデータ） (2024-03-27T17:23:39Z)
• ImageNet-E: Benchmarking Neural Network Robustness via Attribute Editing [45.14977000707886]
  ImageNetにおける高い精度は、通常、異なる汚職に対してより堅牢性をもたらす。 我々は、背景、大きさ、位置、方向の制御によるオブジェクト編集のためのツールキットを作成する。 我々は、畳み込みニューラルネットワークと視覚変換器の両方を含む現在のディープラーニングモデルの性能を評価する。
  論文  参考訳（メタデータ） (2023-03-30T02:02:32Z)
• Traditional Classification Neural Networks are Good Generators: They are Competitive with DDPMs and GANs [104.72108627191041]
  従来のニューラルネットワーク分類器は、最先端の生成モデルに匹敵する高品質な画像を生成することができることを示す。 マスクをベースとした再構成モジュールを提案し, 意味的勾配を意識し, 可視画像の合成を行う。 また,本手法は,画像テキスト基盤モデルに関して,テキスト・画像生成にも適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-27T11:25:35Z)
• Reconstruction Task Finds Universal Winning Tickets [24.52604301906691]
  十分に訓練されたニューラルネットワークは、コンピュータビジョンシステムにおいて有望な精度と効率のトレードオフを実現するのに有効である。 既存のプルーニングアルゴリズムのほとんどは、ソースドメインで定義された分類タスクのみに焦点を当てている。 本稿では,画像レベルのプレトレインタスクは,下流の様々なタスクに対して,モデルを刈り取ることができないことを示す。
  論文  参考訳（メタデータ） (2022-02-23T13:04:32Z)
• Automated Cleanup of the ImageNet Dataset by Model Consensus, Explainability and Confident Learning [0.0]
  ImageNetは、ILSVRC12Netでトレーニングされた様々な畳み込みニューラルネットワーク(CNN)のバックボーンである。 本稿では,モデルのコンセンサス,説明可能性,自信のある学習に基づく自動アプリケーションについて述べる。 ImageNet-CleanはSqueezeNetおよびEfficientNet-B0モデルのモデルパフォーマンスを2-2.4%向上させる。
  論文  参考訳（メタデータ） (2021-03-30T13:16:35Z)
• Understanding Robustness of Transformers for Image Classification [34.51672491103555]
  Vision Transformer (ViT)は画像分類のためにResNetsを抜いた。 Transformerアーキテクチャの詳細は、これらのネットワークが堅牢かどうかを疑問に思っている。 ViTモデルは、少なくともResNetが広範囲の摂動に匹敵するほど堅牢であることがわかった。
  論文  参考訳（メタデータ） (2021-03-26T16:47:55Z)
• Increasing the Robustness of Semantic Segmentation Models with Painting-by-Numbers [39.95214171175713]
  我々は,物体の形状に対するネットワークバイアスを増大させることにより,出力を改善することができる画像分類からの洞察に基づいて構築する。 我々の基本的な考え方は、RGBトレーニング画像の一部を偽画像でアルファブレンドすることであり、各クラスラベルには、固定されたランダムに選択された色が与えられる。 各種ネットワークバックボーン,MobileNet-V2,ResNets,Xceptionを用いたDeepLabv3+のトレーニングスキーマの有効性を実証し,Cityscapesデータセットで評価した。
  論文  参考訳（メタデータ） (2020-10-12T07:42:39Z)
• Encoding Robustness to Image Style via Adversarial Feature Perturbations [72.81911076841408]
  我々は、画像画素ではなく特徴統計を直接摂動することで、頑健なモデルを生成することで、敵の訓練に適応する。 提案手法であるAdvBN(Adversarial Batch Normalization)は,トレーニング中に最悪の機能摂動を発生させる単一ネットワーク層である。
  論文  参考訳（メタデータ） (2020-09-18T17:52:34Z)
• CrossTransformers: spatially-aware few-shot transfer [92.33252608837947]
  非常に少ないデータを持つ新しいタスクを考えると、現代の視覚システムは驚くほど急速に低下する。 現代の視覚システムを支えるニューラルネットワーク表現が、どのようにして監督の崩壊にさらされているかを示す。 そこで我々は,伝達を良くする汎用的な機能を促進するために,自己指導型学習を提案する。
  論文  参考訳（メタデータ） (2020-07-22T15:37:08Z)
• Do Adversarially Robust ImageNet Models Transfer Better? [102.09335596483695]
  逆向きに堅牢なモデルは、トランスファーラーニングに使用する場合、標準訓練されたモデルよりもよく機能する。 私たちの結果は、ロバストさが機能表現の改善につながるという最近の仮説と一致しています。
  論文  参考訳（メタデータ） (2020-07-16T17:42:40Z)
• Learning to Learn Parameterized Classification Networks for Scalable Input Images [76.44375136492827]
  畳み込みニューラルネットワーク(CNN)は、入力解像度の変化に関して予測可能な認識動作を持たない。 我々はメタラーナーを用いて、様々な入力スケールのメインネットワークの畳み込み重みを生成する。 さらに、異なる入力解像度に基づいて、モデル予測よりもフライでの知識蒸留を利用する。
  論文  参考訳（メタデータ） (2020-07-13T04:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。