論文の概要: CLIP-MUSED: CLIP-Guided Multi-Subject Visual Neural Information Semantic
Decoding
- arxiv url: http://arxiv.org/abs/2402.08994v1
- Date: Wed, 14 Feb 2024 07:41:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 16:32:29.756900
- Title: CLIP-MUSED: CLIP-Guided Multi-Subject Visual Neural Information Semantic
Decoding
- Title（参考訳）: CLIP-MUSED: CLIP-Guided Multi-Subject Visual Neural Information Semantic Decoding
- Authors: Qiongyi Zhou, Changde Du, Shengpei Wang, Huiguang He
- Abstract要約: CLIP-Guided Multi-sUbject Visual Neural Information Semantic Decoding (CLIP-MUSED)法を提案する。
提案手法は,グローバルなニューラル表現を効果的にモデル化するトランスフォーマーベースの特徴抽出器から構成される。
また、マルチオブジェクトデータの集約を容易にする学習可能な主題固有のトークンも組み込まれている。
- 参考スコア（独自算出の注目度）: 14.484475792279671
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The study of decoding visual neural information faces challenges in
generalizing single-subject decoding models to multiple subjects, due to
individual differences. Moreover, the limited availability of data from a
single subject has a constraining impact on model performance. Although prior
multi-subject decoding methods have made significant progress, they still
suffer from several limitations, including difficulty in extracting global
neural response features, linear scaling of model parameters with the number of
subjects, and inadequate characterization of the relationship between neural
responses of different subjects to various stimuli. To overcome these
limitations, we propose a CLIP-guided Multi-sUbject visual neural information
SEmantic Decoding (CLIP-MUSED) method. Our method consists of a
Transformer-based feature extractor to effectively model global neural
representations. It also incorporates learnable subject-specific tokens that
facilitates the aggregation of multi-subject data without a linear increase of
parameters. Additionally, we employ representational similarity analysis (RSA)
to guide token representation learning based on the topological relationship of
visual stimuli in the representation space of CLIP, enabling full
characterization of the relationship between neural responses of different
subjects under different stimuli. Finally, token representations are used for
multi-subject semantic decoding. Our proposed method outperforms single-subject
decoding methods and achieves state-of-the-art performance among the existing
multi-subject methods on two fMRI datasets. Visualization results provide
insights into the effectiveness of our proposed method. Code is available at
https://github.com/CLIP-MUSED/CLIP-MUSED.
- Abstract（参考訳）: 視覚神経情報のデコードに関する研究は、個人差による単一サブジェクトデコードモデルを複数の被験者に一般化する上での課題に直面している。
さらに、単一の主題からのデータの可用性の制限は、モデルのパフォーマンスに制約を与える。
先行したマルチサブジェクト復号法は大きな進歩を遂げているが,大域的神経応答特徴の抽出の難しさ,モデルパラメータと被験者数との線形スケーリング,異なる被験者の神経応答と様々な刺激との関係の不十分なキャラクタリゼーションなど,いくつかの制限が残っている。
これらの制限を克服するため、CLIP誘導型多目的視覚神経情報セマンティックデコーディング法(CLIP-MUSED)を提案する。
本手法は,グローバル・ニューラル表現を効果的にモデル化するトランスベース特徴抽出器からなる。
また、パラメータの線形増加なしに多目的データの集約を容易にする学習可能な主題固有のトークンも組み込まれている。
さらに,映像表現空間における視覚刺激の位相的関係に基づいてトークン表現学習を指導する表現類似性解析(rsa)を用いて,異なる刺激下での異なる被験者の神経反応の関係をフルに評価する。
最後に、トークン表現はマルチオブジェクトセマンティックデコーディングに使用される。
提案手法は, 2つのfmriデータセット上の既存マルチサブジェクト法において, 単一サブジェクト復号法を上回り, 最先端の性能を実現する。
可視化により,提案手法の有効性に関する知見が得られる。
コードはhttps://github.com/CLIP-MUSED/CLIP-MUSEDで入手できる。
関連論文リスト
- LLM4Brain: Training a Large Language Model for Brain Video Understanding [9.294352205183726]
映像刺激によって引き起こされるfMRI信号から視覚的意味情報を再構成するためのLCMに基づく手法を提案する。
我々は、適応器を備えたfMRIエンコーダに微調整技術を用いて、脳の反応を映像刺激に合わせた潜在表現に変換する。
特に,視覚的セマンティック情報と脳反応のアライメントを高めるために,自己教師付きドメイン適応手法を統合する。
論文 参考訳（メタデータ） (2024-09-26T15:57:08Z) - Single-Shared Network with Prior-Inspired Loss for Parameter-Efficient Multi-Modal Imaging Skin Lesion Classification [6.195015783344803]
マルチモーダルアプローチを導入し,マルチスケールな臨床・皮膚内視鏡的特徴を1つのネットワークに効率的に統合する。
提案手法は,現在進行している手法と比較して,精度とモデルパラメータの両面で優位性を示す。
論文 参考訳（メタデータ） (2024-03-28T08:00:14Z) - Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。
ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
論文 参考訳（メタデータ） (2024-01-11T18:57:17Z) - Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement
Learning [53.00683059396803]
マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。
本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。
本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
論文 参考訳（メタデータ） (2023-10-06T10:40:46Z) - Convolutional neural network based on sparse graph attention mechanism
for MRI super-resolution [0.34410212782758043]
深層学習技術を用いた医用画像超解像(SR)再構成は、病変解析を強化し、診断効率と精度を向上させるために医師を支援する。
既存のディープラーニングベースのSR手法は、これらのモデルの表現能力を本質的に制限する畳み込みニューラルネットワーク(CNN)に依存している。
画像特徴抽出に複数の畳み込み演算子特徴抽出モジュール(MCO)を用いるAネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T06:14:22Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳（メタデータ） (2021-02-15T18:46:44Z) - Deep Representational Similarity Learning for analyzing neural
signatures in task-based fMRI dataset [81.02949933048332]
本稿では、表現類似度分析(RSA)の深部拡張であるDRSL(Deep Representational similarity Learning)を開発する。
DRSLは、多数の被験者を持つfMRIデータセットにおける様々な認知タスク間の類似性を分析するのに適している。
論文 参考訳（メタデータ） (2020-09-28T18:30:14Z) - A shared neural encoding model for the prediction of subject-specific
fMRI response [17.020869686284165]
本稿では,個人レベルでの差分を考慮した共有畳み込みニューラルエンコーディング手法を提案する。
本手法は,視覚刺激や聴覚刺激によって誘発される主観的応答の予測を改善するために,多目的データを活用する。
論文 参考訳（メタデータ） (2020-06-29T04:10:14Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳（メタデータ） (2020-06-11T17:29:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。