論文の概要: Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity

• arxiv url: http://arxiv.org/abs/2403.20022v1
• Date: Fri, 29 Mar 2024 07:16:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 16:15:12.254450
• Title: Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity
• Title（参考訳）: 心理測定:人間の脳活動からの画像再構成のためのOmnifit Model
• Authors: Ruijie Quan, Wenguan Wang, Zhibo Tian, Fan Ma, Yi Yang,
• Abstract要約: 人間の脳活動から見るイメージを再構築することで、人間とコンピュータのビジョンをBrain-Computer Interfaceを通して橋渡しする。 異なる被験者から得られた機能的磁気共鳴イメージング(fMRI)による画像再構成のための全能モデルであるサイコメトリを考案した。
• 参考スコア（独自算出の注目度）: 60.983327742457995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing the viewed images from human brain activity bridges human and computer vision through the Brain-Computer Interface. The inherent variability in brain function between individuals leads existing literature to focus on acquiring separate models for each individual using their respective brain signal data, ignoring commonalities between these data. In this article, we devise Psychometry, an omnifit model for reconstructing images from functional Magnetic Resonance Imaging (fMRI) obtained from different subjects. Psychometry incorporates an omni mixture-of-experts (Omni MoE) module where all the experts work together to capture the inter-subject commonalities, while each expert associated with subject-specific parameters copes with the individual differences. Moreover, Psychometry is equipped with a retrieval-enhanced inference strategy, termed Ecphory, which aims to enhance the learned fMRI representation via retrieving from prestored subject-specific memories. These designs collectively render Psychometry omnifit and efficient, enabling it to capture both inter-subject commonality and individual specificity across subjects. As a result, the enhanced fMRI representations serve as conditional signals to guide a generation model to reconstruct high-quality and realistic images, establishing Psychometry as state-of-the-art in terms of both high-level and low-level metrics.
• Abstract（参考訳）: 人間の脳活動から見るイメージを再構築することで、人間とコンピュータのビジョンをBrain-Computer Interfaceを通して橋渡しする。 個人間の脳機能の固有のばらつきは、既存の文献において、それぞれの脳信号データを使用して個々の個体ごとに別々のモデルを取得することに集中し、それらのデータ間の共通点を無視している。 本稿では、異なる被験者から得られた機能的磁気共鳴画像(fMRI)から画像を再構成するための全能モデルであるサイコメトリを考案する。 心理測定にはOmni Mixed-of-experts (Omni MoE)モジュールが組み込まれており、すべての専門家が共同でオブジェクト間の共通点を捉え、各専門家が主題固有のパラメータに関連付けられている。 さらに、サイコメトリは、事前記憶した被写体固有の記憶から取り出すことにより、学習されたfMRI表現を強化することを目的とした、Ecphoryと呼ばれる検索強化推論戦略を備えている。 これらのデザインは、総合的に心理学的全能性と効率性を表現し、対象間の共通性と被写体間の個人的特異性の両方をキャプチャすることを可能にする。 その結果、fMRI表現の強化は、高品質でリアルなイメージを再構築するための世代モデルを誘導する条件信号として機能し、高レベルと低レベルの両方の観点から、サイコメトリを最先端のメトリクスとして確立した。

関連論文リスト

• Integrated Brain Connectivity Analysis with fMRI, DTI, and sMRI Powered by Interpretable Graph Neural Networks [17.063133885403154]
  我々は, 磁気共鳴イメージング, 拡散テンソルイメージング, 構造MRIを結合構造に統合した。 提案手法は,ニューラルネットワークの重み付けにマスキング戦略を導入し,マルチモーダル画像データの総合的アマルガメーションを容易にする。 このモデルは、ヒューマンコネクトームプロジェクト(Human Connectome Project)の開発研究に応用され、若年期のマルチモーダルイメージングと認知機能との関係を明らかにする。
  論文  参考訳（メタデータ） (2024-08-26T13:16:42Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• Brain-ID: Learning Contrast-agnostic Anatomical Representations for Brain Imaging [11.06907516321673]
  脳画像のための解剖学的表現学習モデルであるBrain-IDを導入する。 提案された"Mild-to-Severe"イントラオブジェクト生成により、Brain-IDは被験者固有の脳解剖に対して堅牢である。 本稿では,物体内および物体間ロバスト性を評価するための新しい指標を提案し,その性能を4つの下流アプリケーションで評価する。
  論文  参考訳（メタデータ） (2023-11-28T16:16:10Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• Decoding Realistic Images from Brain Activity with Contrastive Self-supervision and Latent Diffusion [29.335943994256052]
  ヒトの脳活動から視覚刺激を再構築することは、脳の視覚系を理解する上で有望な機会となる。 機能的磁気共鳴イメージング(fMRI)記録から現実的な画像をデコードする2相フレームワークContrast and Diffuse(CnD)を提案する。
  論文  参考訳（メタデータ） (2023-09-30T09:15:22Z)
• UniBrain: Universal Brain MRI Diagnosis with Hierarchical Knowledge-enhanced Pre-training [66.16134293168535]
  我々はUniBrainと呼ばれるユニバーサル脳MRI診断のための階層的知識強化事前訓練フレームワークを提案する。 具体的には、UniBrainは、定期的な診断から24,770のイメージレポートペアの大規模なデータセットを活用する。
  論文  参考訳（メタデータ） (2023-09-13T09:22:49Z)
• Harmonization Across Imaging Locations(HAIL): One-Shot Learning for Brain MRI [4.8296943294326145]
  ニューラルスタイルの転送を調和に利用するワンショット学習法を提案する。 試験時には、臨床現場からの1つの画像を用いて、共同現場の強度スケールと一致する画像を生成する。 画像強度を新しい臨床部位に調整しながら, 患者の解剖学を保存するための方法の有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2023-08-21T21:13:30Z)
• Controllable Mind Visual Diffusion Model [58.83896307930354]
  脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。 我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。 CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。 そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
  論文  参考訳（メタデータ） (2023-05-17T11:36:40Z)
• Semantic Brain Decoding: from fMRI to conceptually similar image reconstruction of visual stimuli [0.29005223064604074]
  本稿では,意味的・文脈的類似性にも依存する脳復号法を提案する。 我々は、自然視のfMRIデータセットを使用し、人間の視覚におけるボトムアップとトップダウンの両方のプロセスの存在にインスパイアされたディープラーニングデコードパイプラインを作成します。 視覚刺激の再現は, それまでの文献において, 本来の内容とセマンティックレベルで非常によく一致し, 芸術の状態を超越している。
  論文  参考訳（メタデータ） (2022-12-13T16:54:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。