論文の概要: Matching the Neuronal Representations of V1 is Necessary to Improve
Robustness in CNNs with V1-like Front-ends
- arxiv url: http://arxiv.org/abs/2310.10575v1
- Date: Mon, 16 Oct 2023 16:52:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 12:50:34.179563
- Title: Matching the Neuronal Representations of V1 is Necessary to Improve
Robustness in CNNs with V1-like Front-ends
- Title（参考訳）: v1様フロントエンドを用いたcnnのロバスト性向上には、v1のニューロン表現のマッチングが必要である
- Authors: Ruxandra Barbulescu, Tiago Marques, Arlindo L. Oliveira
- Abstract要約: 近年,畳み込みニューラルネットワークの前方における初期視覚領域の計算シミュレーションにより,画像劣化に対するロバスト性の向上が示されている。
ここでは、霊長類V1に見られるRF特性の分布を正確に一致させることから生じる神経表現が、この堅牢性向上の鍵となることを示す。
- 参考スコア（独自算出の注目度）: 1.8434042562191815
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While some convolutional neural networks (CNNs) have achieved great success
in object recognition, they struggle to identify objects in images corrupted
with different types of common noise patterns. Recently, it was shown that
simulating computations in early visual areas at the front of CNNs leads to
improvements in robustness to image corruptions. Here, we further explore this
result and show that the neuronal representations that emerge from precisely
matching the distribution of RF properties found in primate V1 is key for this
improvement in robustness. We built two variants of a model with a front-end
modeling the primate primary visual cortex (V1): one sampling RF properties
uniformly and the other sampling from empirical biological distributions. The
model with the biological sampling has a considerably higher robustness to
image corruptions that the uniform variant (relative difference of 8.72%).
While similar neuronal sub-populations across the two variants have similar
response properties and learn similar downstream weights, the impact on
downstream processing is strikingly different. This result sheds light on the
origin of the improvements in robustness observed in some biologically-inspired
models, pointing to the need of precisely mimicking the neuronal
representations found in the primate brain.
- Abstract（参考訳）: 一部の畳み込みニューラルネットワーク(cnns)は、オブジェクト認識で大きな成功を収めているが、異なるタイプの共通のノイズパターンで腐敗した画像内のオブジェクトを特定するのに苦労している。
近年,CNNの前面の早期視覚領域における計算のシミュレーションにより,画像劣化に対する堅牢性の向上が示されている。
ここでは、この結果をさらに探求し、霊長類V1に見られるRF特性の分布と正確に一致することから生じる神経表現がこの堅牢性の向上の鍵であることを示す。
プライマート一次視覚野をモデル化したフロントエンドモデル(V1)を2種類構築した。1つはRF特性を均一にサンプリングし、もう1つは経験的生物学的分布からサンプリングした。
生物学的サンプリングを伴うモデルは、均一な変異(相対的な差異は8.72%)が画像の腐敗に対してかなり高いロバスト性を有する。
2つの変種にまたがる類似の神経細胞サブ集団は、同様の応答特性を持ち、下流の重みを学習するが、下流処理への影響は著しく異なる。
この結果は、いくつかの生物学的にインスパイアされたモデルで観察された堅牢性の改善の原点に光を当て、霊長類脳にある神経表現を正確に模倣する必要性を示している。
関連論文リスト
- Explicitly Modeling Pre-Cortical Vision with a Neuro-Inspired Front-End Improves CNN Robustness [1.8434042562191815]
CNNは、一般的な汚職で腐敗した画像の分類に苦慮している。
近年の研究では、霊長類一次視覚野(V1)のいくつかの特徴をシミュレートするCNNフロントエンドブロックを組み込むことで、全体のモデル堅牢性を向上させることが示されている。
我々は、前皮質視覚処理をシミュレートする新しいフロントエンドブロックを組み込んだ、生物学的にインスパイアされたCNNモデルファミリーを2つ導入する。
論文 参考訳（メタデータ） (2024-09-25T11:43:29Z) - Benchmarking Out-of-Distribution Generalization Capabilities of DNN-based Encoding Models for the Ventral Visual Cortex [26.91313901714098]
textitMacaqueITBenchは、マカク下側頭葉(IT)皮質からの神経集団反応の大規模なデータセットである。
画像からOF-Distribution(OOD)トレインとテストスプリットに分割し,神経活動を予測するモデルに対する分布シフトの影響を検討した。
論文 参考訳（メタデータ） (2024-06-16T20:33:57Z) - Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。
また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
論文 参考訳（メタデータ） (2023-08-28T12:55:13Z) - V1T: large-scale mouse V1 response prediction using a Vision Transformer [1.5703073293718952]
動物間における視覚的・行動的表現の共有を学習するビジョントランスフォーマーに基づく新しいアーキテクチャであるV1Tを紹介する。
マウスの一次視覚野から記録された2つの大きなデータセットを用いて、我々のモデルを評価し、予測性能を12.7%以上向上させた。
論文 参考訳（メタデータ） (2023-02-06T18:58:38Z) - SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。
SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。
第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
論文 参考訳（メタデータ） (2022-11-22T18:00:03Z) - DeepDC: Deep Distance Correlation as a Perceptual Image Quality
Evaluator [53.57431705309919]
ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。
我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。
5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
論文 参考訳（メタデータ） (2022-11-09T14:57:27Z) - Prune and distill: similar reformatting of image information along rat
visual cortex and deep neural networks [61.60177890353585]
深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。
ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。
我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
論文 参考訳（メタデータ） (2022-05-27T08:06:40Z) - A precortical module for robust CNNs to light variations [0.0]
哺乳類の低視線経路の簡単な数学的モデルを示し、その重要な要素である網膜、外側原性核(LGN)、一次視覚野(V1)を考慮に入れた。
視覚系の皮質レベルと、画像分類タスクで使用される一般的なCNNの構造との類似性は、入力画像における大域的な光強度とコントラスト変動に関するロバスト性を改善するために、前皮質神経回路にインスパイアされた追加の予備的畳み込みモジュールの導入を示唆している。
我々は、MNIST、FashionMNIST、SVHNといった人気データベース上で仮説を検証し、これらの変動に関してより堅牢なCNNを得る。
論文 参考訳（メタデータ） (2022-02-15T14:18:40Z) - Combining Different V1 Brain Model Variants to Improve Robustness to
Image Corruptions in CNNs [5.875680381119361]
畳み込みニューラルネットワーク(CNN)の前面で一次視覚野(V1)をシミュレートすると、画像摂動に対するロバスト性はわずかに改善される。
我々は、複数の個人モデルと異なるV1フロントエンドモデルを組み合わせたアンサンブル手法を用いて、新しいモデルを構築する。
蒸留により, アンサンブルモデルの知識を, V1フロントエンドを持つ単一モデルに部分的に圧縮することができることを示す。
論文 参考訳（メタデータ） (2021-10-20T16:35:09Z) - Prediction of progressive lens performance from neural network
simulations [62.997667081978825]
本研究の目的は,畳み込みニューラルネットワーク(CNN)に基づく視覚的視力(VA)予測の枠組みを提案することである。
提案する総合シミュレーションツールは主観的視覚性能の正確なモデルとして機能することが示されている。
論文 参考訳（メタデータ） (2021-03-19T14:51:02Z) - Fooling the primate brain with minimal, targeted image manipulation [67.78919304747498]
本稿では、行動に反映される神経活動と知覚の両方の変化をもたらす、最小限の標的画像摂動を生成するための一連の手法を提案する。
我々の研究は、敵対的攻撃、すなわち最小限のターゲットノイズによる画像の操作で同じ目標を共有し、ANNモデルに画像の誤分類を誘導する。
論文 参考訳（メタデータ） (2020-11-11T08:30:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。