論文の概要: Wills Aligner: A Robust Multi-Subject Brain Representation Learner
- arxiv url: http://arxiv.org/abs/2404.13282v1
- Date: Sat, 20 Apr 2024 06:01:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 19:39:25.964639
- Title: Wills Aligner: A Robust Multi-Subject Brain Representation Learner
- Title（参考訳）: Wills Aligner:ロバストな多目的脳表現学習者
- Authors: Guangyin Bao, Zixuan Gong, Qi Zhang, Jialei Zhou, Wei Fan, Kun Yi, Usman Naseem, Liang Hu, Duoqian Miao,
- Abstract要約: 本稿では,頑健な多目的脳表現学習者であるWills Alignerを紹介する。
ウィルズ・アリグナーは最初、解剖学的レベルで異なる被験者の脳を調整した。
個々の認知パターンを学習するために、脳の専門家が混在している。
- 参考スコア（独自算出の注目度）: 19.538200208523467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decoding visual information from human brain activity has seen remarkable advancements in recent research. However, due to the significant variability in cortical parcellation and cognition patterns across subjects, current approaches personalized deep models for each subject, constraining the practicality of this technology in real-world contexts. To tackle the challenges, we introduce Wills Aligner, a robust multi-subject brain representation learner. Our Wills Aligner initially aligns different subjects' brains at the anatomical level. Subsequently, it incorporates a mixture of brain experts to learn individual cognition patterns. Additionally, it decouples the multi-subject learning task into a two-stage training, propelling the deep model and its plugin network to learn inter-subject commonality knowledge and various cognition patterns, respectively. Wills Aligner enables us to overcome anatomical differences and to efficiently leverage a single model for multi-subject brain representation learning. We meticulously evaluate the performance of our approach across coarse-grained and fine-grained visual decoding tasks. The experimental results demonstrate that our Wills Aligner achieves state-of-the-art performance.
- Abstract（参考訳）: 最近の研究では、人間の脳活動から視覚情報を復号する技術が目覚ましい進歩を遂げている。
しかし、被験者間の皮質パーセレーションや認知パターンの有意な変動により、現在のアプローチは各被験者にパーソナライズされたディープモデルを提供し、現実の文脈においてこの技術の実用性を制限している。
この課題に対処するために,頑健な多目的脳表現学習者であるWills Alignerを紹介した。
私たちのWills Alignerは最初、解剖学的レベルで異なる被験者の脳を調整します。
その後、個々の認知パターンを学習するために、脳の専門家の混合物が組み込まれている。
さらに、多目的学習タスクを2段階のトレーニングに分離し、深層モデルとそのプラグインネットワークを推進し、共通性間の知識と様々な認知パターンを学習する。
Wills Alignerは、解剖学的差異を克服し、単一のモデルを多目的脳表現学習に効率的に活用することを可能にする。
粗くきめ細かな視覚的デコードタスクにまたがるアプローチの性能を慎重に評価する。
The experimental results showed that our Wills Aligner achieves State-of-the-art performance。
関連論文リスト
- MindAligner: Explicit Brain Functional Alignment for Cross-Subject Visual Decoding from Limited fMRI Data [64.92867794764247]
MindAlignerは、限られたfMRIデータからのクロスオブジェクト脳デコーディングのためのフレームワークである。
脳伝達マトリックス(BTM)は、任意の新しい被験者の脳信号を既知の被験者の1人に投射する。
脳機能アライメントモジュールは、異なる視覚刺激下で軟質なクロスオブジェクト脳アライメントを実行するために提案されている。
論文 参考訳（メタデータ） (2025-02-07T16:01:59Z) - Decoding Visual Experience and Mapping Semantics through Whole-Brain Analysis Using fMRI Foundation Models [10.615012396285337]
我々は脳全体の活性化マップを組み込むことで視覚過程の理解を高めるアルゴリズムを開発した。
まず,視覚処理を復号化するための最先端手法と比較し,予測意味精度を43%向上させた。
論文 参考訳（メタデータ） (2024-11-11T16:51:17Z) - Toward Generalizing Visual Brain Decoding to Unseen Subjects [20.897856078151506]
我々はまず,Human Connectome Project(HCP)の映画視聴課題において,刺激像とfMRI応答対からなる画像-fMRIデータセットを統合する。
次に,従来の手法のように個人に異なるネットワークヘッドやトークン化器を使わずに,すべての被験者に一様処理を適用する学習パラダイムを提案する。
本研究は,脳活動の個体間における特徴的類似性を明らかにするものである。
論文 参考訳（メタデータ） (2024-10-18T13:04:35Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳（メタデータ） (2024-05-28T00:36:25Z) - Neuro-Vision to Language: Enhancing Brain Recording-based Visual Reconstruction and Language Interaction [8.63068449082585]
非侵襲的な脳記録の復号化は、人間の認知の理解を深める鍵となる。
本研究では,視覚変換器を用いた3次元脳構造と視覚的意味論を統合した。
マルチモーダル大モデル開発を支援するために,fMRI画像関連テキストデータを用いたfMRIデータセットを改良した。
論文 参考訳（メタデータ） (2024-04-30T10:41:23Z) - Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity [60.983327742457995]
人間の脳活動から見るイメージを再構築することで、人間とコンピュータのビジョンをBrain-Computer Interfaceを通して橋渡しする。
異なる被験者から得られた機能的磁気共鳴イメージング(fMRI)による画像再構成のための全能モデルであるサイコメトリを考案した。
論文 参考訳（メタデータ） (2024-03-29T07:16:34Z) - MLIP: Enhancing Medical Visual Representation with Divergence Encoder
and Knowledge-guided Contrastive Learning [48.97640824497327]
本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。
我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。
特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
論文 参考訳（メタデータ） (2024-02-03T05:48:50Z) - Brain-ID: Learning Contrast-agnostic Anatomical Representations for
Brain Imaging [11.06907516321673]
脳画像のための解剖学的表現学習モデルであるBrain-IDを導入する。
提案された"Mild-to-Severe"イントラオブジェクト生成により、Brain-IDは被験者固有の脳解剖に対して堅牢である。
本稿では,物体内および物体間ロバスト性を評価するための新しい指標を提案し,その性能を4つの下流アプリケーションで評価する。
論文 参考訳（メタデータ） (2023-11-28T16:16:10Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳（メタデータ） (2023-11-01T07:24:22Z) - Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。
提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。
生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
論文 参考訳（メタデータ） (2023-05-19T09:57:19Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳（メタデータ） (2023-02-25T03:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。