論文の概要: Retinotopy Inspired Brain Encoding Model and the All-for-One Training Recipe

• arxiv url: http://arxiv.org/abs/2307.14021v1
• Date: Wed, 26 Jul 2023 08:06:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-27 13:09:45.893247
• Title: Retinotopy Inspired Brain Encoding Model and the All-for-One Training Recipe
• Title（参考訳）: retinotopyインスパイアされた脳エンコーディングモデルとオールフォーワントレーニングレシピ
• Authors: Huzheng Yang, Jianbo Shi, James Gee
• Abstract要約: 3つの画像モダリティにまたがる5つの公開データセットから100万以上のデータポイントを用いて、脳エンコーディングモデルを事前訓練した。 本稿では、一般的に使用される視覚バックボーンモデルのドロップイン置換として、事前学習モデルの有効性を示す。
• 参考スコア（独自算出の注目度）: 14.943061215875655
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Brain encoding models aim to predict brain voxel-wise responses to stimuli images, replicating brain signals captured by neuroimaging techniques. There is a large volume of publicly available data, but training a comprehensive brain encoding model is challenging. The main difficulties stem from a) diversity within individual brain, with functional heterogeneous brain regions; b) diversity of brains from different subjects, due to genetic and developmental differences; c) diversity of imaging modalities and processing pipelines. We use this diversity to our advantage by introducing the All-for-One training recipe, which divides the challenging one-big-model problem into multiple small models, with the small models aggregating the knowledge while preserving the distinction between the different functional regions. Agnostic of the training recipe, we use biological knowledge of the brain, specifically retinotopy, to introduce inductive bias to learn a 3D brain-to-image mapping that ensures a) each neuron knows which image regions and semantic levels to gather information, and b) no neurons are left behind in the model. We pre-trained a brain encoding model using over one million data points from five public datasets spanning three imaging modalities. To the best of our knowledge, this is the most comprehensive brain encoding model to the date. We demonstrate the effectiveness of the pre-trained model as a drop-in replacement for commonly used vision backbone models. Furthermore, we demonstrate the application of the model to brain decoding. Code and the model checkpoint will be made available.
• Abstract（参考訳）: 脳エンコーディングモデルは、刺激画像に対する脳のボクセル的反応を予測し、ニューロイメージング技術で捉えた脳信号を複製することを目的としている。 大量の公開データがあるが、包括的な脳エンコーディングモデルのトレーニングは難しい。 主な難しさは a) 機能的異種脳領域を有する個々の脳内の多様性 b) 遺伝的及び発達的差異による異なる対象からの脳の多様性 c) 画像モダリティおよび処理パイプラインの多様性。 この多様性は、難解な1つの大きなモデルの問題を複数の小さなモデルに分割し、異なる機能領域の区別を維持しながら知識を集約する、オール・フォー・ワンのトレーニングレシピを導入することで、当社の利点を生かしている。 トレーニングレシピによらず、脳の生物学的知識、特に網膜写真を用いて誘導バイアスを導入し、3D脳画像マッピングを学習します。 a) 各ニューロンは、情報を収集する画像領域及び意味レベルを知っており、 b) モデルに残されたニューロンは存在しない。 3つの画像モダリティにまたがる5つの公開データセットから100万以上のデータポイントを用いて、脳エンコーディングモデルを事前訓練した。 私たちの知る限りでは、これはこれまでで最も包括的な脳のエンコーディングモデルです。 視覚バックボーンモデルのドロップイン代替として,事前学習モデルの有効性を示す。 さらに,脳のデコードに対するモデルの適用例を示した。 コードとモデルチェックポイントが利用可能になる。

関連論文リスト

• Towards Neural Foundation Models for Vision: Aligning EEG, MEG, and fMRI Representations for Decoding, Encoding, and Modality Conversion [0.11249583407496218]
  本稿では, コントラスト学習を活用することで, 脳活動のマルチモーダル表現に対して, 神経データと視覚刺激を協調させる基礎モデルを構築するための新しいアプローチを提案する。 脳波(EEG)、脳磁図(MEG)、fMRIデータを用いた。 われわれのフレームワークの能力は、ニューラルデータから視覚情報をデコードし、画像をニューラル表現にエンコードし、ニューラルモダリティ間の変換という3つの重要な実験によって実証される。
  論文  参考訳（メタデータ） (2024-11-14T12:27:27Z)
• A Differentiable Approach to Multi-scale Brain Modeling [3.5874544981360987]
  本稿では,脳シミュレータBrainPyを用いたマルチスケール微分脳モデリングワークフローを提案する。 単一ニューロンレベルでは、微分可能なニューロンモデルを実装し、電気生理学的データへの適合を最適化するために勾配法を用いる。 ネットワークレベルでは、生物学的に制約されたネットワークモデルを構築するためにコネクトロミックデータを組み込む。
  論文  参考訳（メタデータ） (2024-06-28T07:41:31Z)
• BrainSegFounder: Towards 3D Foundation Models for Neuroimage Segmentation [6.5388528484686885]
  本研究は,医療基盤モデルの創出に向けた新しいアプローチを紹介する。 本稿では,視覚変換器を用いた2段階事前学習手法を提案する。 BrainFounderは、これまでの勝利ソリューションの成果を上回る、大幅なパフォーマンス向上を実演している。
  論文  参考訳（メタデータ） (2024-06-14T19:49:45Z)
• BrainODE: Dynamic Brain Signal Analysis via Graph-Aided Neural Ordinary Differential Equations [67.79256149583108]
  本稿では,脳波を連続的にモデル化するBrainODEというモデルを提案する。 遅延初期値とニューラルODE関数を不規則な時系列から学習することにより、BrainODEは任意の時点の脳信号を効果的に再構築する。
  論文  参考訳（メタデータ） (2024-04-30T10:53:30Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
  本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。 提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。 生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-05-19T09:57:19Z)
• Decoding Visual Neural Representations by Multimodal Learning of Brain-Visual-Linguistic Features [9.783560855840602]
  本稿では,脳-視覚-言語的特徴の多モーダル学習を用いたBraVLと呼ばれる汎用的ニューラルデコーディング手法を提案する。 マルチモーダル深部生成モデルを用いて,脳,視覚,言語的特徴の関係をモデル化することに注力する。 特に、BraVLモデルは、様々な半教師付きシナリオの下でトレーニングでき、余分なカテゴリから得られる視覚的特徴とテキスト的特徴を組み込むことができる。
  論文  参考訳（メタデータ） (2022-10-13T05:49:33Z)
• Multimodal foundation models are better simulators of the human brain [65.10501322822881]
  1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。 視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
  論文  参考訳（メタデータ） (2022-08-17T12:36:26Z)
• Contrastive Brain Network Learning via Hierarchical Signed Graph Pooling Model [64.29487107585665]
  脳機能ネットワーク上のグラフ表現学習技術は、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を容易にする。 本稿では,脳機能ネットワークからグラフレベル表現を抽出する階層型グラフ表現学習モデルを提案する。 また、モデルの性能をさらに向上させるために、機能的脳ネットワークデータをコントラスト学習のために拡張する新たな戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-14T20:03:52Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
  3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。 本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。 ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
  論文  参考訳（メタデータ） (2021-12-02T12:45:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。