論文の概要: Retinotopy Inspired Brain Encoding Model and the All-for-One Training
Recipe
- arxiv url: http://arxiv.org/abs/2307.14021v1
- Date: Wed, 26 Jul 2023 08:06:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-27 13:09:45.893247
- Title: Retinotopy Inspired Brain Encoding Model and the All-for-One Training
Recipe
- Title(参考訳): retinotopyインスパイアされた脳エンコーディングモデルとオールフォーワントレーニングレシピ
- Authors: Huzheng Yang, Jianbo Shi, James Gee
- Abstract要約: 3つの画像モダリティにまたがる5つの公開データセットから100万以上のデータポイントを用いて、脳エンコーディングモデルを事前訓練した。
本稿では、一般的に使用される視覚バックボーンモデルのドロップイン置換として、事前学習モデルの有効性を示す。
- 参考スコア(独自算出の注目度): 14.943061215875655
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Brain encoding models aim to predict brain voxel-wise responses to stimuli
images, replicating brain signals captured by neuroimaging techniques. There is
a large volume of publicly available data, but training a comprehensive brain
encoding model is challenging. The main difficulties stem from a) diversity
within individual brain, with functional heterogeneous brain regions; b)
diversity of brains from different subjects, due to genetic and developmental
differences; c) diversity of imaging modalities and processing pipelines. We
use this diversity to our advantage by introducing the All-for-One training
recipe, which divides the challenging one-big-model problem into multiple small
models, with the small models aggregating the knowledge while preserving the
distinction between the different functional regions. Agnostic of the training
recipe, we use biological knowledge of the brain, specifically retinotopy, to
introduce inductive bias to learn a 3D brain-to-image mapping that ensures a)
each neuron knows which image regions and semantic levels to gather
information, and b) no neurons are left behind in the model.
We pre-trained a brain encoding model using over one million data points from
five public datasets spanning three imaging modalities. To the best of our
knowledge, this is the most comprehensive brain encoding model to the date. We
demonstrate the effectiveness of the pre-trained model as a drop-in replacement
for commonly used vision backbone models. Furthermore, we demonstrate the
application of the model to brain decoding. Code and the model checkpoint will
be made available.
- Abstract(参考訳): 脳エンコーディングモデルは、刺激画像に対する脳のボクセル的反応を予測し、ニューロイメージング技術で捉えた脳信号を複製することを目的としている。
大量の公開データがあるが、包括的な脳エンコーディングモデルのトレーニングは難しい。
主な難しさは
a) 機能的異種脳領域を有する個々の脳内の多様性
b) 遺伝的及び発達的差異による異なる対象からの脳の多様性
c) 画像モダリティおよび処理パイプラインの多様性。
この多様性は、難解な1つの大きなモデルの問題を複数の小さなモデルに分割し、異なる機能領域の区別を維持しながら知識を集約する、オール・フォー・ワンのトレーニングレシピを導入することで、当社の利点を生かしている。
トレーニングレシピによらず、脳の生物学的知識、特に網膜写真を用いて誘導バイアスを導入し、3D脳画像マッピングを学習します。
a) 各ニューロンは、情報を収集する画像領域及び意味レベルを知っており、
b) モデルに残されたニューロンは存在しない。
3つの画像モダリティにまたがる5つの公開データセットから100万以上のデータポイントを用いて、脳エンコーディングモデルを事前訓練した。
私たちの知る限りでは、これはこれまでで最も包括的な脳のエンコーディングモデルです。
視覚バックボーンモデルのドロップイン代替として,事前学習モデルの有効性を示す。
さらに,脳のデコードに対するモデルの適用例を示した。
コードとモデルチェックポイントが利用可能になる。
関連論文リスト
- Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。
最初はFlyTracingという名前のデータセットを構築しました。
本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-05T19:45:12Z) - Deep Neural Networks and Brain Alignment: Brain Encoding and Decoding
(Survey) [3.007588299126936]
脳はどのように異なる情報のモードを表現するのか?ユーザが何を考えているのかを自動的に理解するシステムを設計できるだろうか?
神経科学のコミュニティは、概念語、物語、写真、映画の受動的読み書き・視聴に関連する、いくつかの大きな認知神経科学データセットに貢献してきた。
これらのデータセットを使用した復号および符号化モデルも過去20年間に提案されている。
論文 参考訳(メタデータ) (2023-07-17T06:54:36Z) - Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。
提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。
生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
論文 参考訳(メタデータ) (2023-05-19T09:57:19Z) - Decoding Visual Neural Representations by Multimodal Learning of
Brain-Visual-Linguistic Features [9.783560855840602]
本稿では,脳-視覚-言語的特徴の多モーダル学習を用いたBraVLと呼ばれる汎用的ニューラルデコーディング手法を提案する。
マルチモーダル深部生成モデルを用いて,脳,視覚,言語的特徴の関係をモデル化することに注力する。
特に、BraVLモデルは、様々な半教師付きシナリオの下でトレーニングでき、余分なカテゴリから得られる視覚的特徴とテキスト的特徴を組み込むことができる。
論文 参考訳(メタデータ) (2022-10-13T05:49:33Z) - Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。
視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文 参考訳(メタデータ) (2022-08-17T12:36:26Z) - BrainFormer: A Hybrid CNN-Transformer Model for Brain fMRI Data
Classification [31.83866719445596]
BrainFormerは、単一のfMRIボリュームを持つ脳疾患分類のための一般的なハイブリッドトランスフォーマーアーキテクチャである。
BrainFormerは、各voxel内のローカルキューを3D畳み込みでモデル化することによって構築される。
我々は、ABIDE、ADNI、MPILMBB、ADHD-200、ECHOを含む5つの独立して取得したデータセット上でBrainFormerを評価する。
論文 参考訳(メタデータ) (2022-08-05T07:54:10Z) - Contrastive Brain Network Learning via Hierarchical Signed Graph Pooling
Model [64.29487107585665]
脳機能ネットワーク上のグラフ表現学習技術は、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を容易にする。
本稿では,脳機能ネットワークからグラフレベル表現を抽出する階層型グラフ表現学習モデルを提案する。
また、モデルの性能をさらに向上させるために、機能的脳ネットワークデータをコントラスト学習のために拡張する新たな戦略を提案する。
論文 参考訳(メタデータ) (2022-07-14T20:03:52Z) - Neural Language Models are not Born Equal to Fit Brain Data, but
Training Helps [75.84770193489639]
音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。
各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。
ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
論文 参考訳(メタデータ) (2022-07-07T15:37:17Z) - Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。
本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。
ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
論文 参考訳(メタデータ) (2021-12-02T12:45:46Z) - Interpretation of 3D CNNs for Brain MRI Data Classification [56.895060189929055]
T1脳MRIにおける拡散テンソル画像の男女差について,これまでの知見を拡張した。
ボクセルの3次元CNN解釈を3つの解釈法の結果と比較する。
論文 参考訳(メタデータ) (2020-06-20T17:56:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。