論文の概要: Reconstruction of Perceived Images from fMRI Patterns and Semantic Brain Exploration using Instance-Conditioned GANs

• arxiv url: http://arxiv.org/abs/2202.12692v1
• Date: Fri, 25 Feb 2022 13:51:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-28 16:06:14.701989
• Title: Reconstruction of Perceived Images from fMRI Patterns and Semantic Brain Exploration using Instance-Conditioned GANs
• Title（参考訳）: インスタンス構成GANを用いたfMRIパターンからの知覚画像の再構成と意味脳探索
• Authors: Furkan Ozcelik, Bhavin Choksi, Milad Mozafari, Leila Reddy, Rufin VanRullen
• Abstract要約: 我々は, インスタンス定義型GAN(IC-GAN)モデルを用いて, fMRIパターンからの画像を, 正確な意味的属性と保存低レベル詳細の両方で再構成する。 実例の特徴,ノイズベクトル,およびそれに対応するfMRIパターンからの刺激の密度ベクトルを予測するために,尾根回帰モデルを訓練した。 IC-GANジェネレータを用いて、これらのfMRI予測変数に基づいて、新しいテスト画像の再構成を行った。
• 参考スコア（独自算出の注目度）: 1.6904374000330984
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing perceived natural images from fMRI signals is one of the most engaging topics of neural decoding research. Prior studies had success in reconstructing either the low-level image features or the semantic/high-level aspects, but rarely both. In this study, we utilized an Instance-Conditioned GAN (IC-GAN) model to reconstruct images from fMRI patterns with both accurate semantic attributes and preserved low-level details. The IC-GAN model takes as input a 119-dim noise vector and a 2048-dim instance feature vector extracted from a target image via a self-supervised learning model (SwAV ResNet-50); these instance features act as a conditioning for IC-GAN image generation, while the noise vector introduces variability between samples. We trained ridge regression models to predict instance features, noise vectors, and dense vectors (the output of the first dense layer of the IC-GAN generator) of stimuli from corresponding fMRI patterns. Then, we used the IC-GAN generator to reconstruct novel test images based on these fMRI-predicted variables. The generated images presented state-of-the-art results in terms of capturing the semantic attributes of the original test images while remaining relatively faithful to low-level image details. Finally, we use the learned regression model and the IC-GAN generator to systematically explore and visualize the semantic features that maximally drive each of several regions-of-interest in the human brain.
• Abstract（参考訳）: fmri信号から知覚された自然画像の再構成は、神経デコード研究の最も興味深いトピックの1つである。 以前の研究では、低レベルの画像の特徴または意味/高レベルの側面の再構築に成功したが、どちらもまれである。 そこで本研究では, インスタンス定義型GAN(IC-GAN)モデルを用いて, fMRIパターンからの画像を, 正確なセマンティック属性と保存低レベル詳細の両方で再構成した。 IC-GANモデルは、自己教師付き学習モデル(SwAV ResNet-50)を介して対象画像から抽出された119ディムノイズベクトルと2048ディムインスタンス特徴ベクトルを入力とし、これらの特徴はIC-GAN画像生成の条件付けとして機能し、ノイズベクトルはサンプル間の可変性を導入する。 我々はリッジ回帰モデルを訓練し,対応するfmriパターンからの刺激のインスタンス特徴,ノイズベクトル,高密度ベクター(ic-gan生成器の第1高密度層の出力)を予測する。 IC-GANジェネレータを用いて,これらのfMRI予測変数に基づいて新しいテスト画像の再構成を行った。 生成した画像は、元のテスト画像のセマンティックな属性を捉えながら、低レベルの画像の詳細に比較的忠実なまま、最先端の結果を示した。 最後に、学習された回帰モデルとIC-GANジェネレータを用いて、人間の脳の各領域を最大限に駆動する意味的特徴を体系的に探索し視覚化する。

関連論文リスト

• Contrastive Learning to Fine-Tune Feature Extraction Models for the Visual Cortex [1.2891210250935148]
  我々は、画像分類のために事前訓練された畳み込みニューラルネットワークを微調整するために、コントラスト学習を適用した。 CL微調整により特徴抽出モデルが生成され,初期視覚ROIの符号化精度が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-08T14:14:23Z)
• A Unified Model for Compressed Sensing MRI Across Undersampling Patterns [69.19631302047569]
  ディープニューラルネットワークは、アンダーサンプル計測から高忠実度画像を再構成する大きな可能性を示している。 我々のモデルは、離散化に依存しないアーキテクチャであるニューラル演算子に基づいている。 我々の推論速度は拡散法よりも1,400倍速い。
  論文  参考訳（メタデータ） (2024-10-05T20:03:57Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
  本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。 様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
  論文  参考訳（メタデータ） (2024-03-27T02:42:52Z)
• Natural scene reconstruction from fMRI signals using generative latent diffusion [1.90365714903665]
  我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。 第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。 第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
  論文  参考訳（メタデータ） (2023-03-09T15:24:26Z)
• Facial Image Reconstruction from Functional Magnetic Resonance Imaging via GAN Inversion with Improved Attribute Consistency [5.705640492618758]
  我々はfMRIデータから顔画像を再構成する新しい枠組みを提案する。 提案手法は,(1)fMRIデータから明瞭な顔画像の再構成,(2)意味的特徴の一貫性の維持という2つの目標を達成する。
  論文  参考訳（メタデータ） (2022-07-03T11:18:35Z)
• Ensembling with Deep Generative Views [72.70801582346344]
  生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。 そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
  論文  参考訳（メタデータ） (2021-04-29T17:58:35Z)
• IMAGINE: Image Synthesis by Image-Guided Model Inversion [79.4691654458141]
  IMGE-Guided Model INvErsion (IMAGINE) と呼ばれるインバージョンベースの手法を導入し、高品質で多様な画像を生成します。 我々は,事前学習した分類器から画像意味論の知識を活用し,妥当な世代を実現する。 IMAGINEは,1)合成中の意味的特異性制約を同時に実施し,2)ジェネレータトレーニングなしでリアルな画像を生成し,3)生成過程を直感的に制御する。
  論文  参考訳（メタデータ） (2021-04-13T02:00:24Z)
• Adaptive Gradient Balancing for UndersampledMRI Reconstruction and Image-to-Image Translation [60.663499381212425]
  本研究では,新しい適応勾配バランス手法を併用したwasserstein生成逆ネットワークを用いて,画質の向上を図る。 MRIでは、他の技術よりも鮮明な画像を生成する高品質の再構築を維持しながら、アーティファクトを最小限に抑えます。
  論文  参考訳（メタデータ） (2021-04-05T13:05:22Z)
• BigGAN-based Bayesian reconstruction of natural images from human brain activity [14.038605815510145]
  本稿では,fMRIデータからカテゴリをデコードする分類器を含むGAN-BVRMを提案する。 GAN-BVRMは、一般的なBigGANの事前訓練されたジェネレータを使用して、自然画像の塊を生成する。 実験の結果,GAN-BVRMは像の忠実度と自然度,すなわち画像刺激に類似した再現性を向上させることが明らかとなった。
  論文  参考訳（メタデータ） (2020-03-13T04:32:11Z)
• Reconstructing Natural Scenes from fMRI Patterns using BigBiGAN [2.0754848504005583]
  我々は最近提案された大規模双方向対向ネットワークであるBigBiGANを用いて、fMRIパターンから自然シーンをデコードし、再構成する。 我々は、イメージネットの150のカテゴリから取得したfMRIデータと、対応するBigBiGAN潜在ベクトルの線形マッピングを計算した。 このマッピングを50の未確認カテゴリから得られた50の新しいテスト画像から得られたfMRI活動パターンに適用し,その潜在ベクトルを検索し,対応する画像の再構成を行った。
  論文  参考訳（メタデータ） (2020-01-31T10:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。