Fugu-MT 論文翻訳(概要): Decoding the Echoes of Vision from fMRI: Memory Disentangling for Past Semantic Information

論文の概要: Decoding the Echoes of Vision from fMRI: Memory Disentangling for Past Semantic Information

arxiv url: http://arxiv.org/abs/2409.20428v1
Date: Mon, 30 Sep 2024 15:51:06 GMT
ステータス: 処理完了
システム内更新日: 2024-10-02 06:50:32.294683
Title: Decoding the Echoes of Vision from fMRI: Memory Disentangling for Past Semantic Information
Title（参考訳）: fMRIから視のエコーを復号する:過去のセマンティック情報のためのメモリアンタングリング
Authors: Runze Xia, Congchi Yin, Piji Li,
Abstract要約: 本研究では,連続的な視覚刺激下での過去の情報を維持するための作業記憶能力について検討した。本稿では,fMRI信号から過去の情報を抽出・復号するタスクメモリディスタングルを提案する。
参考スコア（独自算出の注目度）: 26.837527605133
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The human visual system is capable of processing continuous streams of visual information, but how the brain encodes and retrieves recent visual memories during continuous visual processing remains unexplored. This study investigates the capacity of working memory to retain past information under continuous visual stimuli. And then we propose a new task Memory Disentangling, which aims to extract and decode past information from fMRI signals. To address the issue of interference from past memory information, we design a disentangled contrastive learning method inspired by the phenomenon of proactive interference. This method separates the information between adjacent fMRI signals into current and past components and decodes them into image descriptions. Experimental results demonstrate that this method effectively disentangles the information within fMRI signals. This research could advance brain-computer interfaces and mitigate the problem of low temporal resolution in fMRI.
Abstract（参考訳）: 人間の視覚システムは、視覚情報の連続的なストリームを処理できるが、脳が、連続的な視覚処理中に最近の視覚記憶をエンコードし、どのように取り出すかは、未解明のままである。本研究では,連続的な視覚刺激下での過去の情報を維持するための作業記憶能力について検討した。そして,fMRI信号から過去の情報を抽出・復号するタスクメモリディスタングルを提案する。過去の記憶情報からの干渉問題に対処するため,前向きな干渉現象に着想を得た非絡み合ったコントラスト学習手法を設計する。この方法は、隣接するfMRI信号間の情報を現在のコンポーネントと過去のコンポーネントに分離し、それらを画像記述にデコードする。実験により,fMRI信号内の情報を効果的に切り離すことが実証された。この研究は脳とコンピュータのインターフェースを進化させ、fMRIにおける低時間分解能の問題を緩和する可能性がある。

関連論文リスト

MindFormer: A Transformer Architecture for Multi-Subject Brain Decoding via fMRI [50.55024115943266]
我々は、fMRI条件の特徴ベクトルを生成するためにMindFormerと呼ばれる新しいトランスフォーマーアーキテクチャを導入する。 MindFormerは,1)fMRI信号から意味論的に意味のある特徴を抽出するIP-Adapterに基づく新しいトレーニング戦略,2)fMRI信号の個人差を効果的に捉える主観的トークンと線形層である。
論文参考訳（メタデータ） (2024-05-28T00:36:25Z)
Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
論文参考訳（メタデータ） (2024-05-24T06:06:11Z)
NeuroCine: Decoding Vivid Video Sequences from Human Brain Activties [23.893490180665996]
本稿では,fMRIデータを復号化するための新たな二相フレームワークであるNeuroCineを紹介する。公開されているfMRIデータセットでテストした結果,有望な結果が得られた。このモデルが既存の脳構造や機能と一致し,その生物学的妥当性と解釈可能性を示すことが示唆された。
論文参考訳（メタデータ） (2024-02-02T17:34:25Z)
Brainformer: Mimic Human Visual Brain Functions to Machine Vision Models via fMRI [12.203617776046169]
本稿では,人間の知覚システムにおけるfMRIパターンを解析するためのBrainformerという新しいフレームワークを紹介する。この研究は、人間の知覚からニューラルネットワークへ知識を伝達する先進的なアプローチを導入する。
論文参考訳（メタデータ） (2023-11-30T22:39:23Z)
fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文参考訳（メタデータ） (2023-11-01T07:24:22Z)
Seeing through the Brain: Image Reconstruction of Visual Perception from Human Brain Signals [27.92796103924193]
脳波信号から視覚刺激像を再構成するための包括的パイプラインNeuroImagenを提案する。我々は、与えられた脳波データから複数の粒度の出力を引き出すために、新しいマルチレベル知覚情報デコーディングを組み込んだ。
論文参考訳（メタデータ） (2023-07-27T12:54:16Z)
Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain Activities [31.448924808940284]
2相fMRI表現学習フレームワークを提案する。第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
論文参考訳（メタデータ） (2023-05-26T19:16:23Z)
Controllable Mind Visual Diffusion Model [58.83896307930354]
脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。 CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
論文参考訳（メタデータ） (2023-05-17T11:36:40Z)
Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文参考訳（メタデータ） (2023-03-26T14:14:58Z)
BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文参考訳（メタデータ） (2023-02-25T03:28:54Z)
Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
論文参考訳（メタデータ） (2022-09-30T06:32:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。