論文の概要: Wills Aligner: Multi-Subject Collaborative Brain Visual Decoding
- arxiv url: http://arxiv.org/abs/2404.13282v2
- Date: Mon, 16 Dec 2024 14:33:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:49:37.128877
- Title: Wills Aligner: Multi-Subject Collaborative Brain Visual Decoding
- Title（参考訳）: Wills Aligner: 多目的共同脳視覚デコーディング
- Authors: Guangyin Bao, Qi Zhang, Zixuan Gong, Jialei Zhou, Wei Fan, Kun Yi, Usman Naseem, Liang Hu, Duoqian Miao,
- Abstract要約: Wills Alignerは、多目的協調脳視覚デコーディングを実現するための新しいアプローチである。
Wills Aligner氏はまず、解剖学的レベルで異なる被験者のfMRIデータを調整することから始める。
次に、微妙なブライン・オブ・ブライン・エキスパート・アダプターと、個々のfMRIパターンの違いを考慮に入れたメタラーニング戦略を用いる。
- 参考スコア（独自算出の注目度）: 19.538200208523467
- License:
- Abstract: Decoding visual information from human brain activity has seen remarkable advancements in recent research. However, the diversity in cortical parcellation and fMRI patterns across individuals has prompted the development of deep learning models tailored to each subject. The personalization limits the broader applicability of brain visual decoding in real-world scenarios. To address this issue, we introduce Wills Aligner, a novel approach designed to achieve multi-subject collaborative brain visual decoding. Wills Aligner begins by aligning the fMRI data from different subjects at the anatomical level. It then employs delicate mixture-of-brain-expert adapters and a meta-learning strategy to account for individual fMRI pattern differences. Additionally, Wills Aligner leverages the semantic relation of visual stimuli to guide the learning of inter-subject commonality, enabling visual decoding for each subject to draw insights from other subjects' data. We rigorously evaluate our Wills Aligner across various visual decoding tasks, including classification, cross-modal retrieval, and image reconstruction. The experimental results demonstrate that Wills Aligner achieves promising performance.
- Abstract（参考訳）: 最近の研究では、人間の脳活動から視覚情報を復号する技術が目覚ましい進歩を遂げている。
しかし、個人間での皮質パーセレーションとfMRIパターンの多様性は、各被験者に適した深層学習モデルの開発を促している。
パーソナライゼーションは、現実世界のシナリオにおける脳の視覚的デコードの適用性を制限する。
この問題に対処するために、多目的協調脳視覚復号を実現するために設計された新しいアプローチであるWills Alignerを紹介した。
Wills Aligner氏はまず、解剖学的レベルで異なる被験者のfMRIデータを調整することから始める。
次に、微妙なブライン・オブ・ブライン・エキスパート・アダプターと、個々のfMRIパターンの違いを考慮に入れたメタラーニング戦略を用いる。
さらに、ウィルズ・アリグナーは視覚刺激の意味的関係を利用して、対象間の共通性の学習を導く。
我々は、分類、クロスモーダル検索、画像再構成など、様々な視覚的デコーディングタスクにおいて、Wills Alignerを厳格に評価する。
実験の結果、ウィルズ・アリグナーは有望なパフォーマンスを達成した。
関連論文リスト
- MindAligner: Explicit Brain Functional Alignment for Cross-Subject Visual Decoding from Limited fMRI Data [64.92867794764247]
MindAlignerは、限られたfMRIデータからのクロスオブジェクト脳デコーディングのためのフレームワークである。
脳伝達マトリックス(BTM)は、任意の新しい被験者の脳信号を既知の被験者の1人に投射する。
脳機能アライメントモジュールは、異なる視覚刺激下で軟質なクロスオブジェクト脳アライメントを実行するために提案されている。
論文 参考訳（メタデータ） (2025-02-07T16:01:59Z) - Decoding Visual Experience and Mapping Semantics through Whole-Brain Analysis Using fMRI Foundation Models [10.615012396285337]
我々は脳全体の活性化マップを組み込むことで視覚過程の理解を高めるアルゴリズムを開発した。
まず,視覚処理を復号化するための最先端手法と比較し,予測意味精度を43%向上させた。
論文 参考訳（メタデータ） (2024-11-11T16:51:17Z) - Toward Generalizing Visual Brain Decoding to Unseen Subjects [20.897856078151506]
我々はまず,Human Connectome Project(HCP)の映画視聴課題において,刺激像とfMRI応答対からなる画像-fMRIデータセットを統合する。
次に,従来の手法のように個人に異なるネットワークヘッドやトークン化器を使わずに,すべての被験者に一様処理を適用する学習パラダイムを提案する。
本研究は,脳活動の個体間における特徴的類似性を明らかにするものである。
論文 参考訳（メタデータ） (2024-10-18T13:04:35Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳（メタデータ） (2024-05-28T00:36:25Z) - Neuro-Vision to Language: Enhancing Brain Recording-based Visual Reconstruction and Language Interaction [8.63068449082585]
非侵襲的な脳記録の復号化は、人間の認知の理解を深める鍵となる。
本研究では,視覚変換器を用いた3次元脳構造と視覚的意味論を統合した。
マルチモーダル大モデル開発を支援するために,fMRI画像関連テキストデータを用いたfMRIデータセットを改良した。
論文 参考訳（メタデータ） (2024-04-30T10:41:23Z) - Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity [60.983327742457995]
人間の脳活動から見るイメージを再構築することで、人間とコンピュータのビジョンをBrain-Computer Interfaceを通して橋渡しする。
異なる被験者から得られた機能的磁気共鳴イメージング(fMRI)による画像再構成のための全能モデルであるサイコメトリを考案した。
論文 参考訳（メタデータ） (2024-03-29T07:16:34Z) - MLIP: Enhancing Medical Visual Representation with Divergence Encoder
and Knowledge-guided Contrastive Learning [48.97640824497327]
本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。
我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。
特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
論文 参考訳（メタデータ） (2024-02-03T05:48:50Z) - Brain-ID: Learning Contrast-agnostic Anatomical Representations for
Brain Imaging [11.06907516321673]
脳画像のための解剖学的表現学習モデルであるBrain-IDを導入する。
提案された"Mild-to-Severe"イントラオブジェクト生成により、Brain-IDは被験者固有の脳解剖に対して堅牢である。
本稿では,物体内および物体間ロバスト性を評価するための新しい指標を提案し,その性能を4つの下流アプリケーションで評価する。
論文 参考訳（メタデータ） (2023-11-28T16:16:10Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳（メタデータ） (2023-11-01T07:24:22Z) - Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。
提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。
生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
論文 参考訳（メタデータ） (2023-05-19T09:57:19Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳（メタデータ） (2023-02-25T03:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。