論文の概要: Decoding natural image stimuli from fMRI data with a surface-based convolutional network

• arxiv url: http://arxiv.org/abs/2212.02409v1
• Date: Mon, 5 Dec 2022 16:47:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 16:23:08.719913
• Title: Decoding natural image stimuli from fMRI data with a surface-based convolutional network
• Title（参考訳）: 表面畳み込みネットワークを用いたfMRIデータからの自然画像刺激の復号
• Authors: Zijin Gu, Keith Jamison, Amy Kuceyeski and Mert Sabuncu
• Abstract要約: 本研究では,視覚刺激の復号化のための新しい手法を提案する。 提案手法は, 基礎トラス刺激と良好な微細な類似性を保ちながら, 最先端のセマンティック忠実度を実現する。
• 参考スコア（独自算出の注目度）: 1.8352113484137629
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Due to the low signal-to-noise ratio and limited resolution of functional MRI data, and the high complexity of natural images, reconstructing a visual stimulus from human brain fMRI measurements is a challenging task. In this work, we propose a novel approach for this task, which we call Cortex2Image, to decode visual stimuli with high semantic fidelity and rich fine-grained detail. In particular, we train a surface-based convolutional network model that maps from brain response to semantic image features first (Cortex2Semantic). We then combine this model with a high-quality image generator (Instance-Conditioned GAN) to train another mapping from brain response to fine-grained image features using a variational approach (Cortex2Detail). Image reconstructions obtained by our proposed method achieve state-of-the-art semantic fidelity, while yielding good fine-grained similarity with the ground-truth stimulus. Our code is available at: https://github.com/zijin-gu/meshconv-decoding.git.
• Abstract（参考訳）: 信号対雑音比が低く、機能的MRIデータの解像度が限られており、自然画像の複雑さが高いため、人間の脳のfMRI測定から視覚刺激を再構成することは難しい課題である。 本研究では,コーテックス2イメージ(Cortex2Image)と呼ばれる,視覚刺激を高いセマンティック忠実度と細かな詳細度で復号する手法を提案する。 特に,脳からの反応から意味的画像の特徴(cortex2semantic)にマップする表面型畳み込みネットワークモデルを訓練する。 次に、このモデルと高品質な画像生成装置(インスタンス・コンディション付きGAN)を組み合わせることで、脳反応から微細な画像特徴への別のマッピングを変分アプローチ(Cortex2Detail)を用いて訓練する。 提案手法により得られた画像再構成は, 接地刺激と良好な類似性を得られながら, 最先端のセマンティカル忠実性を実現する。 私たちのコードは、https://github.com/zijin-gu/meshconv-decoding.gitで利用可能です。

関連論文リスト

• Deep Cardiac MRI Reconstruction with ADMM [7.694990352622926]
  心臓画像の分野では, 深層学習(DL)を用いたシネ・マルチコントラスト再建法を提案する。 提案手法は画像領域とk空間領域の両方を最適化し,高い再構成精度を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:46:11Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• Natural scene reconstruction from fMRI signals using generative latent diffusion [1.90365714903665]
  我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。 第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。 第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
  論文  参考訳（メタデータ） (2023-03-09T15:24:26Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)
• Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
  我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。 単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。 脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
  論文  参考訳（メタデータ） (2022-09-30T06:32:46Z)
• Facial Image Reconstruction from Functional Magnetic Resonance Imaging via GAN Inversion with Improved Attribute Consistency [5.705640492618758]
  我々はfMRIデータから顔画像を再構成する新しい枠組みを提案する。 提案手法は,(1)fMRIデータから明瞭な顔画像の再構成,(2)意味的特徴の一貫性の維持という2つの目標を達成する。
  論文  参考訳（メタデータ） (2022-07-03T11:18:35Z)
• A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
  本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。 シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。 我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
  論文  参考訳（メタデータ） (2021-12-09T18:59:21Z)
• Spatial-Separated Curve Rendering Network for Efficient and High-Resolution Image Harmonization [59.19214040221055]
  本稿では,空間分離型曲線描画ネットワーク(S$2$CRNet)を提案する。 提案手法は従来の手法と比較して90%以上のパラメータを減少させる。 提案手法は,既存の手法よりも10ドル以上高速な高解像度画像をリアルタイムにスムーズに処理することができる。
  論文  参考訳（メタデータ） (2021-09-13T07:20:16Z)
• Adaptive Gradient Balancing for UndersampledMRI Reconstruction and Image-to-Image Translation [60.663499381212425]
  本研究では,新しい適応勾配バランス手法を併用したwasserstein生成逆ネットワークを用いて,画質の向上を図る。 MRIでは、他の技術よりも鮮明な画像を生成する高品質の再構築を維持しながら、アーティファクトを最小限に抑えます。
  論文  参考訳（メタデータ） (2021-04-05T13:05:22Z)
• Deep Parallel MRI Reconstruction Network Without Coil Sensitivities [4.559089047554929]
  並列MRI(pMRI)における高速画像再構成のための頑健な近位勾配スキームをデータからトレーニングした正規化関数にマッピングすることにより,新しいディープニューラルネットワークアーキテクチャを提案する。 提案するネットワークは,不完全なpMRIデータからのマルチコイル画像と均一なコントラストとを適応的に組み合わせることを学び,非線形エンコーダに渡されて画像のスパース特徴を効率的に抽出する。
  論文  参考訳（メタデータ） (2020-08-04T08:39:36Z)
• Neural Sparse Representation for Image Restoration [116.72107034624344]
  スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。 本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。 実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
  論文  参考訳（メタデータ） (2020-06-08T05:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。