論文の概要: Neural encoding and interpretation for high-level visual cortices based on fMRI using image caption features

• arxiv url: http://arxiv.org/abs/2003.11797v1
• Date: Thu, 26 Mar 2020 08:47:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 21:43:06.077096
• Title: Neural encoding and interpretation for high-level visual cortices based on fMRI using image caption features
• Title（参考訳）: 画像キャプション特徴を用いたfMRIに基づく高次視覚皮質のニューラルエンコーディングと解釈
• Authors: Kai Qiao, Chi Zhang, Jian Chen, Linyuan Wang, Li Tong, Bin Yan
• Abstract要約: 本研究では、画像キャプション(IC)タスクと、高レベルの視覚皮質のボクセルを符号化するためのIC特徴に基づく視覚符号化モデルを提案する。
• 参考スコア（独自算出の注目度）: 14.038605815510145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On basis of functional magnetic resonance imaging (fMRI), researchers are devoted to designing visual encoding models to predict the neuron activity of human in response to presented image stimuli and analyze inner mechanism of human visual cortices. Deep network structure composed of hierarchical processing layers forms deep network models by learning features of data on specific task through big dataset. Deep network models have powerful and hierarchical representation of data, and have brought about breakthroughs for visual encoding, while revealing hierarchical structural similarity with the manner of information processing in human visual cortices. However, previous studies almost used image features of those deep network models pre-trained on classification task to construct visual encoding models. Except for deep network structure, the task or corresponding big dataset is also important for deep network models, but neglected by previous studies. Because image classification is a relatively fundamental task, it is difficult to guide deep network models to master high-level semantic representations of data, which causes into that encoding performance for high-level visual cortices is limited. In this study, we introduced one higher-level vision task: image caption (IC) task and proposed the visual encoding model based on IC features (ICFVEM) to encode voxels of high-level visual cortices. Experiment demonstrated that ICFVEM obtained better encoding performance than previous deep network models pre-trained on classification task. In addition, the interpretation of voxels was realized to explore the detailed characteristics of voxels based on the visualization of semantic words, and comparative analysis implied that high-level visual cortices behaved the correlative representation of image content.
• Abstract（参考訳）: 機能的磁気共鳴イメージング(fmri)に基づき、研究者は提示された画像刺激に応答して人のニューロン活動を予測する視覚符号化モデルの設計と、人間の視覚皮質の内部機構の解析に力を入れている。 階層的処理層からなるディープネットワーク構造は、ビッグデータを通じて特定のタスクに関するデータの特徴を学習することでディープネットワークモデルを形成する。 ディープネットワークモデルは、強力な階層的データ表現を持ち、視覚エンコーディングのブレークスルーをもたらし、人間の視覚皮質における情報処理の方法と階層的構造的類似性を明らかにする。 しかし、以前の研究では、分類タスクで事前訓練された深層ネットワークモデルの画像特徴を利用して視覚的エンコーディングモデルを構築していた。 ディープネットワーク構造を除けば、タスクまたはそれに対応するbig datasetはディープネットワークモデルでも重要であるが、以前の研究では無視されている。 画像分類は比較的基本的な課題であるため,高次視覚皮質の符号化性能が制限されるため,深層ネットワークモデルを用いてデータの高次意味表現を習得することは困難である。 本研究では,高レベルの視覚野のボクセルを符号化するために,画像キャプション(ic)タスクを導入し,ic特徴量(icfvem)に基づく視覚符号化モデルを提案した。 実験の結果、ICFVEMは従来のディープネットワークモデルよりも符号化性能が優れていた。 さらに, ボクセルの解釈により, 意味的単語の可視化に基づくボクセルの詳細な特徴を解明し, 比較分析により, 高次視覚皮質が画像内容の相関表現を振舞うことが示唆された。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• MindTuner: Cross-Subject Visual Decoding with Visual Fingerprint and Semantic Correction [21.531569319105877]
  クロスオブジェクトタスクにおける高品質な画像の再構成は、被験者間の個人差が深いため、難しい問題である。 MindTunerは1時間分のfMRIトレーニングデータを使用して高品質で豊かなセマンティックな再構築を実現する。
  論文  参考訳（メタデータ） (2024-04-19T05:12:04Z)
• Emergent Language Symbolic Autoencoder (ELSA) with Weak Supervision to Model Hierarchical Brain Networks [0.12075823996747355]
  脳ネットワークには階層的な組織があり、既存のディープラーニングモデルに課題をもたらす複雑性がある。 本稿では,弱い監督と創発的言語(EL)フレームワークによって情報を得るシンボリックオートエンコーダを提案する。 私たちの革新には、文と画像の両方が機能的脳ネットワークの階層構造を正確に反映するように設計された一般化階層的損失関数が含まれています。
  論文  参考訳（メタデータ） (2024-04-15T13:51:05Z)
• See Through Their Minds: Learning Transferable Neural Representation from Cross-Subject fMRI [32.40827290083577]
  機能的磁気共鳴イメージング(fMRI)からの視覚内容の解読は、人間の視覚系を照らすのに役立つ。 従来のアプローチは主に、トレーニングサンプルサイズに敏感な、主題固有のモデルを採用していた。 本稿では,fMRIデータを統合表現にマッピングするための,サブジェクト固有の浅層アダプタを提案する。 トレーニング中,マルチモーダル脳復号における視覚的・テキスト的監督の両面を活用する。
  論文  参考訳（メタデータ） (2024-03-11T01:18:49Z)
• Image complexity based fMRI-BOLD visual network categorization across visual datasets using topological descriptors and deep-hybrid learning [3.522950356329991]
  本研究の目的は,視覚的データセットと異なる視覚刺激に応答して,ネットワークトポロジがどう異なるかを検討することである。 これを実現するために、COCO、ImageNet、SUNを表す視覚ネットワーク毎に0次元および1次元の永続図を演算する。 抽出したK平均クラスター特徴は、これらの視覚ネットワークの分類において90%-95%の範囲で精度の高い新しいディープハイブリッドモデルに供給される。
  論文  参考訳（メタデータ） (2023-11-03T14:05:57Z)
• Controllable Mind Visual Diffusion Model [58.83896307930354]
  脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。 我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。 CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。 そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
  論文  参考訳（メタデータ） (2023-05-17T11:36:40Z)
• Exploring CLIP for Assessing the Look and Feel of Images [87.97623543523858]
  ゼロショット方式で画像の品質知覚(ルック)と抽象知覚(フィール)の両方を評価するために,コントラスト言語-画像事前学習(CLIP)モデルを導入する。 以上の結果から,CLIPは知覚的評価によく適合する有意義な先行情報を捉えることが示唆された。
  論文  参考訳（メタデータ） (2022-07-25T17:58:16Z)
• HistoTransfer: Understanding Transfer Learning for Histopathology [9.231495418218813]
  我々は、ImageNetと病理組織データに基づいてトレーニングされたネットワークから抽出された特徴の性能を比較した。 より複雑なネットワークを用いて学習した機能が性能向上につながるかどうかを検討する。
  論文  参考訳（メタデータ） (2021-06-13T18:55:23Z)
• Generative Hierarchical Features from Synthesizing Images [65.66756821069124]
  画像合成の学習は、広範囲のアプリケーションにまたがって一般化可能な顕著な階層的な視覚的特徴をもたらす可能性があることを示す。 生成的階層的特徴(Generative Hierarchical Feature, GH-Feat)と呼ばれるエンコーダが生成する視覚的特徴は、生成的タスクと識別的タスクの両方に強い伝達性を有する。
  論文  参考訳（メタデータ） (2020-07-20T18:04:14Z)
• Retinopathy of Prematurity Stage Diagnosis Using Object Segmentation and Convolutional Neural Networks [68.96150598294072]
  未熟児網膜症(英: Retinopathy of Prematurity、ROP)は、主に体重の低い未熟児に影響を及ぼす眼疾患である。 網膜の血管の増殖を招き、視力喪失を招き、最終的には網膜剥離を招き、失明を引き起こす。 近年,ディープラーニングを用いて診断を自動化する試みが盛んに行われている。 本稿では,従来のモデルの成功を基盤として,オブジェクトセグメンテーションと畳み込みニューラルネットワーク(CNN)を組み合わせた新しいアーキテクチャを開発する。 提案システムでは,まず対象分割モデルを訓練し,画素レベルでの区切り線を識別し,その結果のマスクを追加の"カラー"チャネルとして付加する。
  論文  参考訳（メタデータ） (2020-04-03T14:07:41Z)
• Image Segmentation Using Deep Learning: A Survey [58.37211170954998]
  イメージセグメンテーションは、画像処理とコンピュータビジョンにおいて重要なトピックである。 深層学習モデルを用いた画像セグメンテーション手法の開発を目的とした研究が,これまでに数多く行われている。
  論文  参考訳（メタデータ） (2020-01-15T21:37:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。