論文の概要: Combining Different V1 Brain Model Variants to Improve Robustness to
Image Corruptions in CNNs
- arxiv url: http://arxiv.org/abs/2110.10645v1
- Date: Wed, 20 Oct 2021 16:35:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-22 18:46:28.853902
- Title: Combining Different V1 Brain Model Variants to Improve Robustness to
Image Corruptions in CNNs
- Title(参考訳): 異なるV1脳モデル変数を組み合わせてCNNにおける画像破壊に対するロバスト性を改善する
- Authors: Avinash Baidya, Joel Dapello, James J. DiCarlo, Tiago Marques
- Abstract要約: 畳み込みニューラルネットワーク(CNN)の前面で一次視覚野(V1)をシミュレートすると、画像摂動に対するロバスト性はわずかに改善される。
我々は、複数の個人モデルと異なるV1フロントエンドモデルを組み合わせたアンサンブル手法を用いて、新しいモデルを構築する。
蒸留により, アンサンブルモデルの知識を, V1フロントエンドを持つ単一モデルに部分的に圧縮することができることを示す。
- 参考スコア(独自算出の注目度): 5.875680381119361
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: While some convolutional neural networks (CNNs) have surpassed human visual
abilities in object classification, they often struggle to recognize objects in
images corrupted with different types of common noise patterns, highlighting a
major limitation of this family of models. Recently, it has been shown that
simulating a primary visual cortex (V1) at the front of CNNs leads to small
improvements in robustness to these image perturbations. In this study, we
start with the observation that different variants of the V1 model show gains
for specific corruption types. We then build a new model using an ensembling
technique, which combines multiple individual models with different V1
front-end variants. The model ensemble leverages the strengths of each
individual model, leading to significant improvements in robustness across all
corruption categories and outperforming the base model by 38% on average.
Finally, we show that using distillation, it is possible to partially compress
the knowledge in the ensemble model into a single model with a V1 front-end.
While the ensembling and distillation techniques used here are hardly
biologically-plausible, the results presented here demonstrate that by
combining the specific strengths of different neuronal circuits in V1 it is
possible to improve the robustness of CNNs for a wide range of perturbations.
- Abstract(参考訳): いくつかの畳み込みニューラルネットワーク(CNN)は、オブジェクト分類において人間の視覚能力を超えたが、異なる種類の共通のノイズパターンで劣化した画像内のオブジェクトを認識するのに苦労し、このモデルのファミリーの大きな制限を強調している。
近年、cnnの前面で一次視覚野(v1)をシミュレートすることで、これらの画像の摂動に対するロバスト性が小さいことが示されている。
本研究は,V1モデルの異なる変種が,特定の汚損タイプに対して利得を示すという観察から始める。
次に、複数の個別モデルと異なるV1フロントエンドモデルを組み合わせたアンサンブル手法を用いて、新しいモデルを構築する。
モデルアンサンブルは個々のモデルの強みを活用し、すべての汚職カテゴリにおけるロバスト性を大幅に改善し、ベースモデルを平均で38%上回る結果となった。
最後に, 蒸留により, アンサンブルモデルの知識を, V1フロントエンドを持つ単一モデルに部分的に圧縮することができることを示す。
ここで用いられるセンシング技術や蒸留技術は生物学的に評価できないが、v1における異なるニューロン回路の特定の強度を組み合わせることで、広範囲の摂動に対するcnnの堅牢性を向上させることが可能である。
関連論文リスト
- Diffusion Models Trained with Large Data Are Transferable Visual Models [51.9937114613558]
そこで本研究では,適度な量の目標データを用いて,基本的な視覚知覚タスクにおいて顕著な伝達性能を実現することができることを示す。
結果は、様々なタスクや実世界のデータセットにまたがる拡散モデルのバックボーンの顕著な転送可能性を示している。
論文 参考訳(メタデータ) (2024-03-10T04:23:24Z) - Matching the Neuronal Representations of V1 is Necessary to Improve
Robustness in CNNs with V1-like Front-ends [1.8434042562191815]
近年,畳み込みニューラルネットワークの前方における初期視覚領域の計算シミュレーションにより,画像劣化に対するロバスト性の向上が示されている。
ここでは、霊長類V1に見られるRF特性の分布を正確に一致させることから生じる神経表現が、この堅牢性向上の鍵となることを示す。
論文 参考訳(メタデータ) (2023-10-16T16:52:15Z) - Heterogeneous Generative Knowledge Distillation with Masked Image
Modeling [33.95780732124864]
Masked Image Modeling (MIM) 法は様々な視覚的タスクにおいて大きな成功を収めるが、ヘテロジニアス深層モデルに対する知識蒸留では未解明のままである。
我々は,MIMに基づくH-GKD (Heterogeneous Generative Knowledge Distillation) を開発した。
本手法は,異種教師モデルからデータの視覚的表現と分布を学習するための,シンプルで効果的な学習パラダイムである。
論文 参考訳(メタデータ) (2023-09-18T08:30:55Z) - Exploring the Robustness of Human Parsers Towards Common Corruptions [99.89886010550836]
我々は,LIP-C,ATR-C,Pascal-Person-Part-Cという3つの汚職堅牢性ベンチマークを構築し,人間の解析モデルのリスク許容度を評価する。
データ強化戦略に触発されて、一般に破損した条件下で頑健性を高めるための新しい異種強化機構を提案する。
論文 参考訳(メタデータ) (2023-09-02T13:32:14Z) - SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。
SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。
第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
論文 参考訳(メタデータ) (2022-11-22T18:00:03Z) - Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。
事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。
スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-10-20T18:46:31Z) - Empirical Advocacy of Bio-inspired Models for Robust Image Recognition [39.37304194475199]
このような生体モデルとその特性を詳細に分析する。
バイオインスパイアされたモデルは、特別なデータ拡張を必要とせず、逆向きに堅牢である傾向がある。
また、他のDCNNモデルとは対照的に、バイオインスパイアされたモデルは低周波情報と中周波情報の両方を使用する傾向がある。
論文 参考訳(メタデータ) (2022-05-18T16:19:26Z) - A precortical module for robust CNNs to light variations [0.0]
哺乳類の低視線経路の簡単な数学的モデルを示し、その重要な要素である網膜、外側原性核(LGN)、一次視覚野(V1)を考慮に入れた。
視覚系の皮質レベルと、画像分類タスクで使用される一般的なCNNの構造との類似性は、入力画像における大域的な光強度とコントラスト変動に関するロバスト性を改善するために、前皮質神経回路にインスパイアされた追加の予備的畳み込みモジュールの導入を示唆している。
我々は、MNIST、FashionMNIST、SVHNといった人気データベース上で仮説を検証し、これらの変動に関してより堅牢なCNNを得る。
論文 参考訳(メタデータ) (2022-02-15T14:18:40Z) - Improving robustness against common corruptions with frequency biased
models [112.65717928060195]
目に見えない画像の腐敗は 驚くほど大きなパフォーマンス低下を引き起こします
画像の破損タイプは周波数スペクトルで異なる特性を持ち、ターゲットタイプのデータ拡張の恩恵を受けます。
畳み込み特徴マップの総変動(TV)を最小限に抑え、高周波堅牢性を高める新しい正規化方式を提案する。
論文 参考訳(メタデータ) (2021-03-30T10:44:50Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳(メタデータ) (2020-12-17T15:19:29Z) - Fast and Robust Cascade Model for Multiple Degradation Single Image
Super-Resolution [2.1574781022415364]
SISR(Single Image Super-Resolution)は、近年注目されている低レベルのコンピュータビジョン問題の一つである。
本稿では、畳み込みニューラルネットワーク(CNN)のカスケードモデルについて、新しい定式化を提案する。
外部知識を用いて各サブモジュールの出力を制限することで,より密結合なCNNアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-11-16T18:59:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。