論文の概要: Contrastive Learning to Fine-Tune Feature Extraction Models for the Visual Cortex

• arxiv url: http://arxiv.org/abs/2410.06067v1
• Date: Tue, 8 Oct 2024 14:14:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 11:20:35.640386
• Title: Contrastive Learning to Fine-Tune Feature Extraction Models for the Visual Cortex
• Title（参考訳）: 視覚皮質の特徴抽出モデルに対するコントラスト学習
• Authors: Alex Mulrooney, Austin J. Brockmeier,
• Abstract要約: 我々は、画像分類のために事前訓練された畳み込みニューラルネットワークを微調整するために、コントラスト学習を適用した。 CL微調整により特徴抽出モデルが生成され,初期視覚ROIの符号化精度が向上することを示す。
• 参考スコア（独自算出の注目度）: 1.2891210250935148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting the neural response to natural images in the visual cortex requires extracting relevant features from the images and relating those feature to the observed responses. In this work, we optimize the feature extraction in order to maximize the information shared between the image features and the neural response across voxels in a given region of interest (ROI) extracted from the BOLD signal measured by fMRI. We adapt contrastive learning (CL) to fine-tune a convolutional neural network, which was pretrained for image classification, such that a mapping of a given image's features are more similar to the corresponding fMRI response than to the responses to other images. We exploit the recently released Natural Scenes Dataset (Allen et al., 2022) as organized for the Algonauts Project (Gifford et al., 2023), which contains the high-resolution fMRI responses of eight subjects to tens of thousands of naturalistic images. We show that CL fine-tuning creates feature extraction models that enable higher encoding accuracy in early visual ROIs as compared to both the pretrained network and a baseline approach that uses a regression loss at the output of the network to tune it for fMRI response encoding. We investigate inter-subject transfer of the CL fine-tuned models, including subjects from another, lower-resolution dataset (Gong et al., 2023). We also pool subjects for fine-tuning to further improve the encoding performance. Finally, we examine the performance of the fine-tuned models on common image classification tasks, explore the landscape of ROI-specific models by applying dimensionality reduction on the Bhattacharya dissimilarity matrix created using the predictions on those tasks (Mao et al., 2024), and investigate lateralization of the processing for early visual ROIs using salience maps of the classifiers built on the CL-tuned models.
• Abstract（参考訳）: 視覚野の自然画像に対する神経反応を予測するには、画像から関連する特徴を抽出し、観察された反応に関連付ける必要がある。 本研究では,fMRIで測定したBOLD信号から抽出した関心領域(ROI)において,画像特徴とボクセル間のニューラル応答間で共有される情報を最大化するために特徴抽出を最適化する。 我々は、画像分類のために事前訓練された畳み込みニューラルネットワークを微調整するために、コントラスト学習(CL)を適用する。 我々は、最近リリースされたNatural Scenes Dataset (Allen et al , 2022) を、Algonauts Project (Gifford et al , 2023) の組織として活用する。 CLファインタニングは、事前訓練されたネットワークと、fMRI応答符号化のためにネットワーク出力の回帰損失を利用したベースラインアプローチの両方と比較して、早期視覚ROIの符号化精度を高める機能抽出モデルを生成する。 我々は,他の低解像度データセット(Gong et al ,2023)の被験者を含むCL微調整モデルのオブジェクト間移動について検討した。 また、符号化性能をさらに向上するために、微調整のために被験者をプールする。 最後に、共通画像分類タスクにおける微調整モデルの性能について検討し、それらのタスクの予測(Mao et al , 2024)を用いて作成した Bhattacharya Dissimilarity matrix に次元性還元を適用してROI特化モデルのランドスケープを探索し(Mao et al , 2024)、CL調整モデル上に構築された分類器のサリエンスマップを用いて初期視覚ROIの処理の側面化について検討する。

関連論文リスト

• A Unified Model for Compressed Sensing MRI Across Undersampling Patterns [69.19631302047569]
  ディープニューラルネットワークは、アンダーサンプル計測から高忠実度画像を再構成する大きな可能性を示している。 我々のモデルは、離散化に依存しないアーキテクチャであるニューラル演算子に基づいている。 我々の推論速度は拡散法よりも1,400倍速い。
  論文  参考訳（メタデータ） (2024-10-05T20:03:57Z)
• An efficient dual-branch framework via implicit self-texture enhancement for arbitrary-scale histopathology image super-resolution [18.881480825169053]
  Inlicit Self-Texture Enhancement-based dual-branch framework (ISTE) を提案する。 ISTEは、様々なスケーリング要因にわたる既存の固定スケールおよび任意のスケールのSRアルゴリズムより優れている。
  論文  参考訳（メタデータ） (2024-01-28T10:00:45Z)
• Performance of GAN-based augmentation for deep learning COVID-19 image classification [57.1795052451257]
  ディープラーニングを医療分野に適用する上で最大の課題は、トレーニングデータの提供である。 データ拡張は、限られたデータセットに直面した時に機械学習で使用される典型的な方法論である。 本研究は, 新型コロナウイルスの胸部X線画像セットを限定して, StyleGAN2-ADAモデルを用いて訓練するものである。
  論文  参考訳（メタデータ） (2023-04-18T15:39:58Z)
• Natural scene reconstruction from fMRI signals using generative latent diffusion [1.90365714903665]
  我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。 第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。 第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
  論文  参考訳（メタデータ） (2023-03-09T15:24:26Z)
• Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images [79.07468367923619]
  畳み込み型神経生成符号化(Conv-NGC)を開発した。 我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。 本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
  論文  参考訳（メタデータ） (2022-11-22T06:42:41Z)
• DeepDC: Deep Distance Correlation as a Perceptual Image Quality Evaluator [53.57431705309919]
  ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。 我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。 5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
  論文  参考訳（メタデータ） (2022-11-09T14:57:27Z)
• Facial Image Reconstruction from Functional Magnetic Resonance Imaging via GAN Inversion with Improved Attribute Consistency [5.705640492618758]
  我々はfMRIデータから顔画像を再構成する新しい枠組みを提案する。 提案手法は,(1)fMRIデータから明瞭な顔画像の再構成,(2)意味的特徴の一貫性の維持という2つの目標を達成する。
  論文  参考訳（メタデータ） (2022-07-03T11:18:35Z)
• Reconstruction of Perceived Images from fMRI Patterns and Semantic Brain Exploration using Instance-Conditioned GANs [1.6904374000330984]
  我々は, インスタンス定義型GAN(IC-GAN)モデルを用いて, fMRIパターンからの画像を, 正確な意味的属性と保存低レベル詳細の両方で再構成する。 実例の特徴,ノイズベクトル,およびそれに対応するfMRIパターンからの刺激の密度ベクトルを予測するために,尾根回帰モデルを訓練した。 IC-GANジェネレータを用いて、これらのfMRI予測変数に基づいて、新しいテスト画像の再構成を行った。
  論文  参考訳（メタデータ） (2022-02-25T13:51:00Z)
• Ensembling with Deep Generative Views [72.70801582346344]
  生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。 そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
  論文  参考訳（メタデータ） (2021-04-29T17:58:35Z)
• Improved Slice-wise Tumour Detection in Brain MRIs by Computing Dissimilarities between Latent Representations [68.8204255655161]
  磁気共鳴画像(MRI)の異常検出は教師なし手法で行うことができる。 本研究では,変分オートエンコーダの潜伏空間における相似関数の計算に基づいて,腫瘍検出のためのスライスワイズ半教師法を提案する。 本研究では,高解像度画像上でのモデルをトレーニングし,再現の質を向上させることにより,異なるベースラインに匹敵する結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-24T14:02:09Z)
• Reconstructing Natural Scenes from fMRI Patterns using BigBiGAN [2.0754848504005583]
  我々は最近提案された大規模双方向対向ネットワークであるBigBiGANを用いて、fMRIパターンから自然シーンをデコードし、再構成する。 我々は、イメージネットの150のカテゴリから取得したfMRIデータと、対応するBigBiGAN潜在ベクトルの線形マッピングを計算した。 このマッピングを50の未確認カテゴリから得られた50の新しいテスト画像から得られたfMRI活動パターンに適用し,その潜在ベクトルを検索し,対応する画像の再構成を行った。
  論文  参考訳（メタデータ） (2020-01-31T10:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。