論文の概要: NeuroFlow: Toward Unified Visual Encoding and Decoding from Neural Activity

• arxiv url: http://arxiv.org/abs/2604.09817v1
• Date: Fri, 10 Apr 2026 18:49:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.690657
• Title: NeuroFlow: Toward Unified Visual Encoding and Decoding from Neural Activity
• Title（参考訳）: NeuroFlow: ニューラルアクティビティからの統一されたビジュアルエンコーディングとデコーディングを目指して
• Authors: Weijian Mai, Mu Nan, Yu Zhu, Jiahang Cao, Rui Zhang, Yuqin Dai, Chunfeng Song, Andrew F. Luo, Jiamin Wu,
• Abstract要約: NeuroFlowは、視覚的エンコーディングと神経活動からのデコーディングを共同でモデル化する最初の統合フレームワークである。 視覚的符号化と復号化は、統一モデリングのための共有潜在空間内での時間依存的、可逆的なプロセスとして初めて再構成される。
• 参考スコア（独自算出の注目度）: 24.3997474807816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual encoding and decoding models act as gateways to understanding the neural mechanisms underlying human visual perception. Typically, visual encoding models that predict brain activity from stimuli and decoding models that reproduce stimuli from brain activity are treated as distinct tasks, requiring separate models and training procedures. This separation is inefficient and fails to model the consistency between encoding and decoding processes. To address this limitation, we propose NeuroFlow, the first unified framework that jointly models visual encoding and decoding from neural activity within a single flow model. NeuroFlow introduces two key components: (1) NeuroVAE is designed as a variational backbone to model neural variability and establish a compact, semantically structured latent space for bidirectional modeling across visual and neural modalities. (2) Cross-modal Flow Matching (XFM) bypasses the typical paradigm of noise-to-data diffusion guided by a specific modality condition, instead learning a reversibly consistent flow model between visual and neural latent distributions. For the first time, visual encoding and decoding are reformulated as a time-dependent, reversible process within a shared latent space for unified modeling. Empirical results demonstrate that NeuroFlow achieves superior overall performance in visual encoding and decoding tasks with higher computational efficiency compared to any isolated methods. We further analyze principal factors that steer the model toward encoding-decoding consistency and, through brain functional analyses, demonstrate that NeuroFlow captures consistent activation patterns underlying neural variability. NeuroFlow marks a major step toward unified visual encoding and decoding from neural activity, providing mechanistic insights that inform future bidirectional visual brain-computer interfaces.
• Abstract（参考訳）: 視覚的エンコーディングとデコードモデルは、人間の視覚知覚の基礎となる神経メカニズムを理解するためのゲートウェイとして機能する。 通常、脳活動から脳活動を予測する視覚的符号化モデルと、脳活動から刺激を再現する復号モデルとが別個のタスクとして扱われ、別々のモデルと訓練手順が必要となる。 この分離は非効率であり、符号化プロセスと復号プロセスの一貫性をモデル化できない。 この制限に対処するために、単一フローモデル内の神経活動から視覚的エンコーディングと復号を共同でモデル化する最初の統合フレームワークであるNeuroFlowを提案する。 NeuroFlowは2つの重要なコンポーネントを紹介している。 1) NeuroVAEは、神経の変動をモデル化し、視覚と神経のモードをまたいだ双方向モデリングのためのコンパクトで意味的に構造化された潜在空間を確立するために、変分バックボーンとして設計されている。 2)クロスモーダルフローマッチング(XFM)は,視覚と神経の潜伏分布の可逆的に一貫した流れモデルを学ぶ代わりに,特定のモーダル条件で導かれるノイズとデータの拡散の典型的なパラダイムをバイパスする。 視覚的符号化と復号化は、統一モデリングのための共有潜在空間内での時間依存的、可逆的なプロセスとして初めて再構成される。 実験により、NeuroFlowは視覚符号化および復号処理において、孤立した手法と比較して高い計算効率で優れた全体的な性能を発揮することが示された。 我々はさらに、符号化と復号の整合性に向けてモデルを操る主要な要因を分析し、脳機能解析を通して、NeuroFlowが神経の可変性に基づく一貫した活性化パターンを捉えていることを示す。 NeuroFlowは、視覚的エンコーディングとニューラルアクティビティからのデコードを統合するための大きなステップであり、将来の双方向視覚脳とコンピュータのインターフェースを知らせる機械的な洞察を提供する。

関連論文リスト

• Simple Models, Rich Representations: Visual Decoding from Primate Intracortical Neural Signals [0.0]
  霊長類の高密度皮質内記録から視覚情報を復号する問題に対処する。 我々は,低分解能遅延再構成と意味的条件付き拡散を組み合わせたモジュラー生成復号パイプラインを開発した。 このフレームワークは、ブレイン・コンピュータ・インタフェースとセマンティック・ニューラル・デコーディングの原則を提供する。
  論文  参考訳（メタデータ） (2026-01-16T09:10:31Z)
• SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning [54.390403684665834]
  視覚刺激が皮質反応にどのように変換されるかを理解することは、計算神経科学の基本的な課題である。 視覚的意味論から神経反応への変換を確率的かつ生物学的に解釈可能な方法でシミュレートする生成フレームワークであるSynBrainを提案する。 実験結果から,SynBrainは被写体特異的視覚-fMRI符号化性能において最先端の手法を超越していることが示された。
  論文  参考訳（メタデータ） (2025-08-14T03:01:05Z)
• Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
  逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。 われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。 本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
  論文  参考訳（メタデータ） (2025-07-15T17:57:48Z)
• Neural Encoding and Decoding at Scale [42.33285735011587]
  NEDS(Neural and Decoding at Scale)を実現するマルチモーダルマルチタスクモデルを提案する。 私たちのアプローチの中心は、神経、行動、内部モダリティ、および相互モダリティマスキングを交互に交互に行う、新しいマルチタスクマスキング戦略です。 NEDSは、複数動物データに基づいて事前訓練された後、新しい動物に微調整された際に、符号化と復号の両方の最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-04-11T02:06:20Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。