論文の概要: Wills Aligner: A Robust Multi-Subject Brain Representation Learner
- arxiv url: http://arxiv.org/abs/2404.13282v1
- Date: Sat, 20 Apr 2024 06:01:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 19:39:25.964639
- Title: Wills Aligner: A Robust Multi-Subject Brain Representation Learner
- Title（参考訳）: Wills Aligner:ロバストな多目的脳表現学習者
- Authors: Guangyin Bao, Zixuan Gong, Qi Zhang, Jialei Zhou, Wei Fan, Kun Yi, Usman Naseem, Liang Hu, Duoqian Miao,
- Abstract要約: 本稿では,頑健な多目的脳表現学習者であるWills Alignerを紹介する。
ウィルズ・アリグナーは最初、解剖学的レベルで異なる被験者の脳を調整した。
個々の認知パターンを学習するために、脳の専門家が混在している。
- 参考スコア（独自算出の注目度）: 19.538200208523467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decoding visual information from human brain activity has seen remarkable advancements in recent research. However, due to the significant variability in cortical parcellation and cognition patterns across subjects, current approaches personalized deep models for each subject, constraining the practicality of this technology in real-world contexts. To tackle the challenges, we introduce Wills Aligner, a robust multi-subject brain representation learner. Our Wills Aligner initially aligns different subjects' brains at the anatomical level. Subsequently, it incorporates a mixture of brain experts to learn individual cognition patterns. Additionally, it decouples the multi-subject learning task into a two-stage training, propelling the deep model and its plugin network to learn inter-subject commonality knowledge and various cognition patterns, respectively. Wills Aligner enables us to overcome anatomical differences and to efficiently leverage a single model for multi-subject brain representation learning. We meticulously evaluate the performance of our approach across coarse-grained and fine-grained visual decoding tasks. The experimental results demonstrate that our Wills Aligner achieves state-of-the-art performance.
- Abstract（参考訳）: 最近の研究では、人間の脳活動から視覚情報を復号する技術が目覚ましい進歩を遂げている。
しかし、被験者間の皮質パーセレーションや認知パターンの有意な変動により、現在のアプローチは各被験者にパーソナライズされたディープモデルを提供し、現実の文脈においてこの技術の実用性を制限している。
この課題に対処するために,頑健な多目的脳表現学習者であるWills Alignerを紹介した。
私たちのWills Alignerは最初、解剖学的レベルで異なる被験者の脳を調整します。
その後、個々の認知パターンを学習するために、脳の専門家の混合物が組み込まれている。
さらに、多目的学習タスクを2段階のトレーニングに分離し、深層モデルとそのプラグインネットワークを推進し、共通性間の知識と様々な認知パターンを学習する。
Wills Alignerは、解剖学的差異を克服し、単一のモデルを多目的脳表現学習に効率的に活用することを可能にする。
粗くきめ細かな視覚的デコードタスクにまたがるアプローチの性能を慎重に評価する。
The experimental results showed that our Wills Aligner achieves State-of-the-art performance。
関連論文リスト
- Decoding Visual Experience and Mapping Semantics through Whole-Brain Analysis Using fMRI Foundation Models [10.615012396285337]
我々は脳全体の活性化マップを組み込むことで視覚過程の理解を高めるアルゴリズムを開発した。
まず,視覚処理を復号化するための最先端手法と比較し,予測意味精度を43%向上させた。
論文 参考訳（メタデータ） (2024-11-11T16:51:17Z) - Toward Generalizing Visual Brain Decoding to Unseen Subjects [20.897856078151506]
我々はまず,Human Connectome Project(HCP)の映画視聴課題において,刺激像とfMRI応答対からなる画像-fMRIデータセットを統合する。
次に,従来の手法のように個人に異なるネットワークヘッドやトークン化器を使わずに,すべての被験者に一様処理を適用する学習パラダイムを提案する。
本研究は,脳活動の個体間における特徴的類似性を明らかにするものである。
論文 参考訳（メタデータ） (2024-10-18T13:04:35Z) - Knowledge-Guided Prompt Learning for Lifespan Brain MR Image Segmentation [53.70131202548981]
本稿では,脳MRIにKGPL(Knowledge-Guided Prompt Learning)を用いた2段階のセグメンテーションフレームワークを提案する。
具体的には,大規模データセットと準最適ラベルを用いたトレーニング前セグメンテーションモデルについて述べる。
知識的プロンプトの導入は、解剖学的多様性と生物学的プロセスの間の意味的関係を捉えている。
論文 参考訳（メタデータ） (2024-07-31T04:32:43Z) - BRACTIVE: A Brain Activation Approach to Human Visual Brain Learning [11.517021103782229]
本稿では,脳活動ネットワーク(BRACTIVE)について紹介する。
BRACTIVEの主な目的は、被験者の視覚的特徴をfMRI信号を介して対応する脳表現と整合させることである。
実験の結果, BRACTIVEは顔や身体選択領域など, 個人特有の関心領域を効果的に識別できることがわかった。
論文 参考訳（メタデータ） (2024-05-29T06:50:13Z) - Aligning brain functions boosts the decoding of visual semantics in
novel subjects [3.226564454654026]
脳の反応をビデオや静止画像に合わせることで脳の復号化を促進することを提案する。
提案手法はオブジェクト外デコード性能を最大75%向上させる。
また、テスト対象者に対して100分未満のデータが得られる場合、古典的な単一オブジェクトアプローチよりも優れています。
論文 参考訳（メタデータ） (2023-12-11T15:55:20Z) - UniBrain: Universal Brain MRI Diagnosis with Hierarchical
Knowledge-enhanced Pre-training [66.16134293168535]
我々はUniBrainと呼ばれるユニバーサル脳MRI診断のための階層的知識強化事前訓練フレームワークを提案する。
具体的には、UniBrainは、定期的な診断から24,770のイメージレポートペアの大規模なデータセットを活用する。
論文 参考訳（メタデータ） (2023-09-13T09:22:49Z) - Decoding Visual Neural Representations by Multimodal Learning of
Brain-Visual-Linguistic Features [9.783560855840602]
本稿では,脳-視覚-言語的特徴の多モーダル学習を用いたBraVLと呼ばれる汎用的ニューラルデコーディング手法を提案する。
マルチモーダル深部生成モデルを用いて,脳,視覚,言語的特徴の関係をモデル化することに注力する。
特に、BraVLモデルは、様々な半教師付きシナリオの下でトレーニングでき、余分なカテゴリから得られる視覚的特徴とテキスト的特徴を組み込むことができる。
論文 参考訳（メタデータ） (2022-10-13T05:49:33Z) - A domain adaptive deep learning solution for scanpath prediction of
paintings [66.46953851227454]
本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。
我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。
提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
論文 参考訳（メタデータ） (2022-09-22T22:27:08Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳（メタデータ） (2022-08-27T09:27:36Z) - Affect Analysis in-the-wild: Valence-Arousal, Expressions, Action Units
and a Unified Framework [83.21732533130846]
Aff-Wild と Aff-Wild2 の2つである。
これは、これらのデータベースで訓練された深層ニューラルネットワークの2つのクラスの設計を示す。
インパクト認識を共同で学び、効果的に一般化し、実行することができる新しいマルチタスクおよび全体主義のフレームワークが提示されます。
論文 参考訳（メタデータ） (2021-03-29T17:36:20Z) - What Can You Learn from Your Muscles? Learning Visual Representation
from Human Interactions [50.435861435121915]
視覚のみの表現よりも優れた表現を学べるかどうかを調べるために,人間のインタラクションとアテンション・キューを用いている。
実験の結果,我々の「音楽監督型」表現は,視覚のみの最先端手法であるMoCoよりも優れていた。
論文 参考訳（メタデータ） (2020-10-16T17:46:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。