論文の概要: Benchmarking Out-of-Distribution Generalization Capabilities of DNN-based Encoding Models for the Ventral Visual Cortex
- arxiv url: http://arxiv.org/abs/2406.16935v1
- Date: Sun, 16 Jun 2024 20:33:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 06:31:46.701592
- Title: Benchmarking Out-of-Distribution Generalization Capabilities of DNN-based Encoding Models for the Ventral Visual Cortex
- Title（参考訳）: 腹側視覚皮質におけるDNNに基づく符号化モデルの分布外一般化能力のベンチマーク
- Authors: Spandan Madan, Will Xiao, Mingran Cao, Hanspeter Pfister, Margaret Livingstone, Gabriel Kreiman,
- Abstract要約: textitMacaqueITBenchは、マカク下側頭葉(IT)皮質からの神経集団反応の大規模なデータセットである。
画像からOF-Distribution(OOD)トレインとテストスプリットに分割し,神経活動を予測するモデルに対する分布シフトの影響を検討した。
- 参考スコア（独自算出の注目度）: 26.91313901714098
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We characterized the generalization capabilities of DNN-based encoding models when predicting neuronal responses from the visual cortex. We collected \textit{MacaqueITBench}, a large-scale dataset of neural population responses from the macaque inferior temporal (IT) cortex to over $300,000$ images, comprising $8,233$ unique natural images presented to seven monkeys over $109$ sessions. Using \textit{MacaqueITBench}, we investigated the impact of distribution shifts on models predicting neural activity by dividing the images into Out-Of-Distribution (OOD) train and test splits. The OOD splits included several different image-computable types including image contrast, hue, intensity, temperature, and saturation. Compared to the performance on in-distribution test images -- the conventional way these models have been evaluated -- models performed worse at predicting neuronal responses to out-of-distribution images, retaining as little as $20\%$ of the performance on in-distribution test images. The generalization performance under OOD shifts can be well accounted by a simple image similarity metric -- the cosine distance between image representations extracted from a pre-trained object recognition model is a strong predictor of neural predictivity under different distribution shifts. The dataset of images, neuronal firing rate recordings, and computational benchmarks are hosted publicly at: https://bit.ly/3zeutVd.
- Abstract（参考訳）: 視覚野からの神経応答を予測する際,DNNを用いた符号化モデルの一般化機能について検討した。
109ドルのセッションで7匹の猿に8,233ドルのユニークな自然画像が提示され、マカク下側頭葉(IT)大脳皮質から30,000ドル以上の画像に大規模な神経集団応答のデータセットである「textit{MacaqueITBench}」を収集した。
そこで, <textit{MacaqueITBench} を用いて, 画像からOF-Distribution(OOD)トレインとテストスプリットに分割することで, 神経活動を予測するモデルに対する分布シフトの影響を検討した。
OODスプリットには、画像コントラスト、色調、強度、温度、飽和など、いくつかの異なる画像計算可能なタイプが含まれていた。
分布内テスト画像のパフォーマンス(従来のモデルの評価方法)と比較して、分布外テスト画像に対するニューロンの反応を予測するモデルが悪化し、分布内テスト画像のパフォーマンスは20ドル%以下に抑えられた。
事前学習対象認識モデルから抽出された画像表現間の余弦距離は、異なる分布シフト下での神経予測の強い予測因子である。
画像、神経細胞の発射速度の記録、および計算ベンチマークのデータセットは、https://bit.ly/3zeutVd.comで公開されている。
関連論文リスト
- Continuous time recurrent neural networks: overview and application to
forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。
重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文 参考訳（メタデータ） (2023-04-14T09:39:06Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-03-06T11:51:28Z) - Adversarial Sampling for Fairness Testing in Deep Neural Network [0.0]
与えられたデータセット内のさまざまなクラスの画像にわたるディープニューラルネットワークモデルの予測において、公正性をテストするための逆サンプリング。
我々は、元の画像でニューラルネットワークモデルを訓練し、摂動または攻撃された画像でモデルをトレーニングすることはなかった。
モデルに逆方向サンプリングを施すと、逆方向サンプルが属する画像のもともとのカテゴリ/クラスを予測することができた。
論文 参考訳（メタデータ） (2023-03-06T03:55:37Z) - Convolutional Neural Generative Coding: Scaling Predictive Coding to
Natural Images [79.07468367923619]
畳み込み型神経生成符号化(Conv-NGC)を開発した。
我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。
本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
論文 参考訳（メタデータ） (2022-11-22T06:42:41Z) - Decoupled Mixup for Generalized Visual Recognition [71.13734761715472]
視覚認識のためのCNNモデルを学習するための新しい「デカップリング・ミクスアップ」手法を提案する。
本手法は,各画像を識別領域と雑音発生領域に分離し,これらの領域を均一に組み合わせてCNNモデルを訓練する。
実験結果から,未知のコンテキストからなるデータに対する本手法の高一般化性能を示す。
論文 参考訳（メタデータ） (2022-10-26T15:21:39Z) - Corrupted Image Modeling for Self-Supervised Visual Pre-Training [103.99311611776697]
自己教師型視覚前訓練のためのCIM(Corrupted Image Modeling)を提案する。
CIMは、小さなトレーニング可能なBEiTを備えた補助発電機を使用して、人工マスクトークンを使用する代わりに入力イメージを破損させる。
事前トレーニング後、エンハンサーは下流タスク用の高容量ビジュアルエンコーダとして使用できる。
論文 参考訳（メタデータ） (2022-02-07T17:59:04Z) - A Comprehensive Study of Image Classification Model Sensitivity to
Foregrounds, Backgrounds, and Visual Attributes [58.633364000258645]
このデータセットをRIVAL10と呼びます。
本研究では,前景,背景,属性の騒音劣化に対する幅広いモデルの感度を評価する。
本稿では,多種多様な最先端アーキテクチャ (ResNets, Transformers) とトレーニング手順 (CLIP, SimCLR, DeiT, Adversarial Training) について考察する。
論文 参考訳（メタデータ） (2022-01-26T06:31:28Z) - Consumer Image Quality Prediction using Recurrent Neural Networks for
Spatial Pooling [13.750624267664156]
本稿では、リカレントニューラルネットワーク(RNN)を用いて、人間の視覚系(HVS)の注意機構を模倣する画像品質モデルを提案する。
最近発表された2つの画像品質データセットの解像度の異なる画像を用いて行った実験により、提案手法の品質予測精度は、最先端技術を表すベンチマークモデルと競合することを示した。
論文 参考訳（メタデータ） (2021-06-02T03:31:44Z) - Investigation of REFINED CNN ensemble learning for anti-cancer drug
sensitivity prediction [0.0]
個々の細胞株に対するディープラーニングモデルを用いた抗がん剤感受性予測は、パーソナライズされた医療において重要な課題である。
ReFINED CNN(Convolutional Neural Network)ベースのモデルでは、薬物感受性の予測に有望な結果が示されている。
我々は,このようなマッピングから構築されたアンサンブルに基づいて,最高の1つのREFINED CNNモデル予測を改善することができる予測について検討する。
論文 参考訳（メタデータ） (2020-09-09T02:27:29Z) - Improving Calibration and Out-of-Distribution Detection in Medical Image
Segmentation with Convolutional Neural Networks [8.219843232619551]
畳み込みニューラルネットワーク(CNN)は強力な医用画像分割モデルであることが示されている。
マルチタスク学習、すなわち、複数の異なるデータセット上で単一のモデルをトレーニングすることを提唱する。
一つのCNNが、文脈を自動的に認識し、各文脈における関心の組織を正確に区分することを学ぶだけでなく、そのようなジョイントモデルの方が、より正確でより良い校正された予測を持つことも示している。
論文 参考訳（メタデータ） (2020-04-12T23:42:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。