論文の概要: Towards robust vision by multi-task learning on monkey visual cortex
- arxiv url: http://arxiv.org/abs/2107.14344v1
- Date: Thu, 29 Jul 2021 21:55:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-02 20:24:37.166496
- Title: Towards robust vision by multi-task learning on monkey visual cortex
- Title（参考訳）: サル視覚野におけるマルチタスク学習によるロバスト視覚の実現
- Authors: Shahd Safarani, Arne Nix, Konstantin Willeke, Santiago A. Cadena,
Kelli Restivo, George Denfield, Andreas S. Tolias, Fabian H. Sinz
- Abstract要約: 我々は,深部ネットワークを併用して画像分類を行い,マカク一次視覚野(V1)の神経活動を予測する訓練を行った。
その結果,モンキーV1データによるコトレーニングは,トレーニング中に歪みがないにもかかわらず,ロバスト性の向上につながることがわかった。
また、ネットワークの堅牢性が向上するにつれて、ネットワークの表現がより脳に似たものになることを示した。
- 参考スコア（独自算出の注目度）: 6.9014416935919565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks set the state-of-the-art across many tasks in computer
vision, but their generalization ability to image distortions is surprisingly
fragile. In contrast, the mammalian visual system is robust to a wide range of
perturbations. Recent work suggests that this generalization ability can be
explained by useful inductive biases encoded in the representations of visual
stimuli throughout the visual cortex. Here, we successfully leveraged these
inductive biases with a multi-task learning approach: we jointly trained a deep
network to perform image classification and to predict neural activity in
macaque primary visual cortex (V1). We measured the out-of-distribution
generalization abilities of our network by testing its robustness to image
distortions. We found that co-training on monkey V1 data leads to increased
robustness despite the absence of those distortions during training.
Additionally, we showed that our network's robustness is very close to that of
an Oracle network where parts of the architecture are directly trained on noisy
images. Our results also demonstrated that the network's representations become
more brain-like as their robustness improves. Using a novel constrained
reconstruction analysis, we investigated what makes our brain-regularized
network more robust. We found that our co-trained network is more sensitive to
content than noise when compared to a Baseline network that we trained for
image classification alone. Using DeepGaze-predicted saliency maps for ImageNet
images, we found that our monkey co-trained network tends to be more sensitive
to salient regions in a scene, reminiscent of existing theories on the role of
V1 in the detection of object borders and bottom-up saliency. Overall, our work
expands the promising research avenue of transferring inductive biases from the
brain, and provides a novel analysis of the effects of our transfer.
- Abstract（参考訳）: ディープニューラルネットワーク(deep neural networks)は、コンピュータビジョンのさまざまなタスクで最先端の技術を設定しているが、画像歪みに対する一般化能力は驚くほど脆弱だ。
対照的に、哺乳類の視覚系は幅広い摂動に対して頑丈である。
近年の研究では、この一般化能力は視覚野全体の視覚刺激の表現にコードされる有用な帰納的バイアスによって説明できることが示唆されている。
そこで我々は、これらの誘導バイアスをマルチタスク学習アプローチでうまく活用し、画像分類とマカク一次視覚野(V1)の神経活動を予測するためにディープネットワークを共同で訓練した。
画像歪みに対するロバスト性をテストすることにより,ネットワークの分散汎化能力を測定した。
サルのv1データを共同トレーニングすると、トレーニング中に歪みがなくても頑健性が増すことがわかった。
さらに、我々のネットワークの堅牢性は、アーキテクチャの一部がノイズの多いイメージで直接トレーニングされているOracleネットワークに非常に近いことを示した。
また,ネットワークのロバスト性が向上するにつれて,ネットワークの表現がより脳のようなものになることを示した。
新たな制約付き再構成分析法を用いて,脳正規化ネットワークのロバスト性について検討した。
画像分類のみを訓練したベースラインネットワークと比較して,共同学習したネットワークはノイズよりもコンテンツに敏感であることが分かりました。
imagenet画像にdeepgazeが予測したサリエンシーマップを用いて,サルが共同学習したネットワークは,シーン内のサリエント領域に対してより敏感になる傾向にあり,物体境界の検出やボトムアップサリエンシーにおけるv1の役割に関する既存の理論を想起させる。
全体として、私たちの研究は脳から誘導バイアスを伝達する有望な研究の道を広げ、私たちの移行の効果の新しい分析を提供します。
関連論文リスト
- Degraded Polygons Raise Fundamental Questions of Neural Network Perception [5.423100066629618]
我々は、30年以上前に人間の視覚の認識・コンポーネント理論で導入された、劣化中の画像の復元作業を再考する。
周辺劣化した正多角形の大規模データセットを高速に生成するための自動形状復元テストを実装した。
この単純なタスクにおけるニューラルネットワークの振舞いは、人間の振舞いと矛盾する。
論文 参考訳（メタデータ） (2023-06-08T06:02:39Z) - Probing neural representations of scene perception in a hippocampally
dependent task using artificial neural networks [1.0312968200748116]
バックプロパゲーションによって訓練されたディープ人工ニューラルネットワーク(DNN)は、哺乳類の視覚システムの効果的なモデルを提供する。
本稿では,海馬依存型課題に触発されたシーン認識ベンチマークについて述べる。
側頭葉構造と海馬の接続性に着想を得たネットワークアーキテクチャを用いて,三重項損失を用いて訓練したDNNが,この課題を学習できることを実証した。
論文 参考訳（メタデータ） (2023-03-11T10:26:25Z) - Searching for the Essence of Adversarial Perturbations [73.96215665913797]
本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。
この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
論文 参考訳（メタデータ） (2022-05-30T18:04:57Z) - Prune and distill: similar reformatting of image information along rat
visual cortex and deep neural networks [61.60177890353585]
深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。
ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。
我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
論文 参考訳（メタデータ） (2022-05-27T08:06:40Z) - Self-supervised U-net for few-shot learning of object segmentation in
microscopy images [4.125187280299247]
セルフスーパービジョンは、少数のショットで訓練されたモデルの一般化性能を著しく向上させることが証明されている。
本稿では、顕微鏡画像分割の文脈において、そのような神経パイプラインを1つ紹介する。
論文 参考訳（メタデータ） (2022-05-22T14:54:25Z) - Robustness of Humans and Machines on Object Recognition with Extreme
Image Transformations [0.0]
物体認識タスクにおいて、画像変換の新たなセットを導入し、人間とネットワークの評価を行う。
人間は高い精度で物体を認識できる一方で、いくつかの共通ネットワークの性能は急速に低下することがわかった。
論文 参考訳（メタデータ） (2022-05-09T17:15:54Z) - Visual Attention Network [90.0753726786985]
本稿では,自己アテンションにおける自己適応性および長距離相関を実現するために,新しいカーネルアテンション(LKA)モジュールを提案する。
また、LKAに基づく新しいニューラルネットワーク、すなわちVisual Attention Network (VAN)を導入する。
VANは、最先端のビジョントランスフォーマーと畳み込みニューラルネットワークを、広範な実験において大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-02-20T06:35:18Z) - Joint Learning of Neural Transfer and Architecture Adaptation for Image
Recognition [77.95361323613147]
現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。
本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。
本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
論文 参考訳（メタデータ） (2021-03-31T08:15:17Z) - Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。
まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。
第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
論文 参考訳（メタデータ） (2020-09-10T17:59:10Z) - Relationship between manifold smoothness and adversarial vulnerability
in deep learning with local errors [2.7834038784275403]
ニューラルネットワークにおける敵の脆弱性の起源について検討する。
本研究は,隠れ表現の固有スペクトルの比較的高速なパワーロー崩壊を必要とすることを明らかにする。
論文 参考訳（メタデータ） (2020-07-04T08:47:51Z) - Towards Achieving Adversarial Robustness by Enforcing Feature
Consistency Across Bit Planes [51.31334977346847]
我々は、高ビット平面の情報に基づいて粗い印象を形成するためにネットワークを訓練し、低ビット平面を用いて予測を洗練させる。
異なる量子化画像間で学習した表現に一貫性を付与することにより、ネットワークの対角的ロバスト性が大幅に向上することを示した。
論文 参考訳（メタデータ） (2020-04-01T09:31:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。