論文の概要: COBRA: A Continual Learning Approach to Vision-Brain Understanding

• arxiv url: http://arxiv.org/abs/2411.17475v1
• Date: Mon, 25 Nov 2024 18:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:34:48.169626
• Title: COBRA: A Continual Learning Approach to Vision-Brain Understanding
• Title（参考訳）: COBRA:視覚脳理解への継続的な学習アプローチ
• Authors: Xuan-Bac Nguyen, Arabinda Kumar Choudhary, Pawan Sinha, Xin Li, Khoa Luu,
• Abstract要約: 視覚脳理解(VBU)は機能的磁気共鳴画像(fMRI)によって記録された脳活動から視覚情報を抽出することを目的としている VBUの既存の研究は破滅的な忘れ込みという課題に直面している。 本稿では,視覚脳のための連続学習(Continuous Learning for Vision-Brain,COBRA)と呼ばれる新しいフレームワークを紹介し,VBUにおける連続学習に対処する。
• 参考スコア（独自算出の注目度）: 12.203617776046169
• License:
• Abstract: Vision-Brain Understanding (VBU) aims to extract visual information perceived by humans from brain activity recorded through functional Magnetic Resonance Imaging (fMRI). Despite notable advancements in recent years, existing studies in VBU continue to face the challenge of catastrophic forgetting, where models lose knowledge from prior subjects as they adapt to new ones. Addressing continual learning in this field is, therefore, essential. This paper introduces a novel framework called Continual Learning for Vision-Brain (COBRA) to address continual learning in VBU. Our approach includes three novel modules: a Subject Commonality (SC) module, a Prompt-based Subject Specific (PSS) module, and a transformer-based module for fMRI, denoted as MRIFormer module. The SC module captures shared vision-brain patterns across subjects, preserving this knowledge as the model encounters new subjects, thereby reducing the impact of catastrophic forgetting. On the other hand, the PSS module learns unique vision-brain patterns specific to each subject. Finally, the MRIFormer module contains a transformer encoder and decoder that learns the fMRI features for VBU from common and specific patterns. In a continual learning setup, COBRA is trained in new PSS and MRIFormer modules for new subjects, leaving the modules of previous subjects unaffected. As a result, COBRA effectively addresses catastrophic forgetting and achieves state-of-the-art performance in both continual learning and vision-brain reconstruction tasks, surpassing previous methods.
• Abstract（参考訳）: 視覚脳理解(VBU)は、機能的磁気共鳴イメージング(fMRI)によって記録された脳活動から、人間が知覚する視覚情報を抽出することを目的としている。 近年の顕著な進歩にもかかわらず、VBUの既存の研究は破滅的な忘れ込みという課題に直面している。 この分野での継続的な学習に対処することが不可欠である。 本稿では,視覚脳のための連続学習(Continuous Learning for Vision-Brain,COBRA)と呼ばれる新しいフレームワークを紹介し,VBUにおける連続学習に対処する。 提案手法は3つの新しいモジュールを含む: 主観共通性(SC)モジュール, Prompt-based Subject Specific(PSS)モジュール, MRIFormerモジュールと表記されるfMRI用トランスフォーマーベースモジュール。 SCモジュールは、被験者間で共有された視覚脳パターンをキャプチャし、モデルが新しい被験者に遭遇するにつれてこの知識を保ち、破滅的な忘れ込みの影響を減らす。 一方、PSSモジュールは各被験者固有の視覚脳パターンを学習する。 最後に、MRIFormerモジュールには、共通のパターンと特定のパターンからVBUのfMRI機能を学ぶトランスフォーマーエンコーダとデコーダが含まれている。 継続的な学習設定では、COBRAは新しい被験者のための新しいPSSおよびMRIFormerモジュールで訓練され、以前の被験者のモジュールは影響を受けないままである。 その結果、COBRAは破滅的な忘れを効果的に解決し、従来の手法を超越した連続学習と視覚脳再建の両タスクにおいて最先端のパフォーマンスを達成する。

関連論文リスト

• BrainMAE: A Region-aware Self-supervised Learning Framework for Brain Signals [11.030708270737964]
  本稿では,fMRI時系列データから直接表現を学習するBrain Masked Auto-Encoder(BrainMAE)を提案する。 BrainMAEは、4つの異なる下流タスクにおいて、確立されたベースラインメソッドをかなりのマージンで一貫して上回っている。
  論文  参考訳（メタデータ） (2024-06-24T19:16:24Z)
• BrainSegFounder: Towards 3D Foundation Models for Neuroimage Segmentation [6.5388528484686885]
  本研究は,医療基盤モデルの創出に向けた新しいアプローチを紹介する。 本稿では,視覚変換器を用いた2段階事前学習手法を提案する。 BrainFounderは、これまでの勝利ソリューションの成果を上回る、大幅なパフォーマンス向上を実演している。
  論文  参考訳（メタデータ） (2024-06-14T19:49:45Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• See Through Their Minds: Learning Transferable Neural Representation from Cross-Subject fMRI [32.40827290083577]
  機能的磁気共鳴イメージング(fMRI)からの視覚内容の解読は、人間の視覚系を照らすのに役立つ。 従来のアプローチは主に、トレーニングサンプルサイズに敏感な、主題固有のモデルを採用していた。 本稿では,fMRIデータを統合表現にマッピングするための,サブジェクト固有の浅層アダプタを提案する。 トレーニング中,マルチモーダル脳復号における視覚的・テキスト的監督の両面を活用する。
  論文  参考訳（メタデータ） (2024-03-11T01:18:49Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• GENOME: GenerativE Neuro-symbOlic visual reasoning by growing and reusing ModulEs [64.49176353858792]
  本稿では,モジュールの増殖・再利用による生成的ニューロシンボリック視覚推論を提案する。 提案モデルは,視覚的質問応答や表現理解の参照など,標準的なタスクに対して競合的に機能する。 いくつかのトレーニング例を観察し、モジュールを再使用することで、新しい視覚的推論タスクに適応することができる。
  論文  参考訳（メタデータ） (2023-11-08T18:59:05Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• Seeing is Believing: Brain-Inspired Modular Training for Mechanistic Interpretability [5.15188009671301]
  Brain-Inspired Modular Trainingは、ニューラルネットワークをよりモジュール的で解釈可能なものにする方法である。 BIMTは、ニューロンを幾何学的空間に埋め込み、各ニューロン接続の長さに比例して損失関数を増大させる。
  論文  参考訳（メタデータ） (2023-05-04T17:56:42Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。