論文の概要: Reconstructing Natural Scenes from fMRI Patterns using BigBiGAN
- arxiv url: http://arxiv.org/abs/2001.11761v3
- Date: Mon, 7 Dec 2020 20:15:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 07:05:20.517159
- Title: Reconstructing Natural Scenes from fMRI Patterns using BigBiGAN
- Title（参考訳）: BigBiGANを用いたfMRIパターンからの自然シーンの再構成
- Authors: Milad Mozafari, Leila Reddy, Rufin VanRullen
- Abstract要約: 我々は最近提案された大規模双方向対向ネットワークであるBigBiGANを用いて、fMRIパターンから自然シーンをデコードし、再構成する。
我々は、イメージネットの150のカテゴリから取得したfMRIデータと、対応するBigBiGAN潜在ベクトルの線形マッピングを計算した。
このマッピングを50の未確認カテゴリから得られた50の新しいテスト画像から得られたfMRI活動パターンに適用し,その潜在ベクトルを検索し,対応する画像の再構成を行った。
- 参考スコア（独自算出の注目度）: 2.0754848504005583
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decoding and reconstructing images from brain imaging data is a research area
of high interest. Recent progress in deep generative neural networks has
introduced new opportunities to tackle this problem. Here, we employ a recently
proposed large-scale bi-directional generative adversarial network, called
BigBiGAN, to decode and reconstruct natural scenes from fMRI patterns. BigBiGAN
converts images into a 120-dimensional latent space which encodes class and
attribute information together, and can also reconstruct images based on their
latent vectors. We computed a linear mapping between fMRI data, acquired over
images from 150 different categories of ImageNet, and their corresponding
BigBiGAN latent vectors. Then, we applied this mapping to the fMRI activity
patterns obtained from 50 new test images from 50 unseen categories in order to
retrieve their latent vectors, and reconstruct the corresponding images.
Pairwise image decoding from the predicted latent vectors was highly accurate
(84%). Moreover, qualitative and quantitative assessments revealed that the
resulting image reconstructions were visually plausible, successfully captured
many attributes of the original images, and had high perceptual similarity with
the original content. This method establishes a new state-of-the-art for
fMRI-based natural image reconstruction, and can be flexibly updated to take
into account any future improvements in generative models of natural scene
images.
- Abstract（参考訳）: 脳画像データからの画像の復号と再構成は、非常に興味深い研究分野である。
深層生成ニューラルネットワークの最近の進歩は、この問題に対処する新たな機会をもたらした。
本稿では,fMRIパターンから自然シーンを復号・再構成するために,BigBiGANと呼ばれる大規模双方向生成対向ネットワークを提案する。
BigBiGANは、画像を120次元の潜伏空間に変換し、クラスと属性情報をエンコードし、潜伏ベクトルに基づいて画像を再構成する。
我々は、イメージネットの150のカテゴリから取得したfMRIデータと、対応するBigBiGAN潜在ベクトルの線形マッピングを計算した。
そこで本研究では,50の未確認カテゴリから得られた50の新たな画像から得られたfMRI活動パターンを用いて,その潜在ベクトルを検索し,対応する画像の再構成を行った。
予測された潜在ベクトルからのペア画像復号は高い精度(84%)であった。
さらに,質的・定量的評価により,得られた画像再構成は視覚的に有理であり,原画像の多くの属性を捉えることができ,原画像との知覚的類似度も高かった。
本手法は、fMRIに基づく自然画像再構成のための新しい最先端技術を確立し、自然画像の生成モデルの将来的な改善を考慮して柔軟に更新することができる。
関連論文リスト
- Natural scene reconstruction from fMRI signals using generative latent
diffusion [1.90365714903665]
我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。
第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。
第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
論文 参考訳（メタデータ） (2023-03-09T15:24:26Z) - Re-Imagen: Retrieval-Augmented Text-to-Image Generator [58.60472701831404]
検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
論文 参考訳（メタデータ） (2022-09-29T00:57:28Z) - Facial Image Reconstruction from Functional Magnetic Resonance Imaging
via GAN Inversion with Improved Attribute Consistency [5.705640492618758]
我々はfMRIデータから顔画像を再構成する新しい枠組みを提案する。
提案手法は,(1)fMRIデータから明瞭な顔画像の再構成,(2)意味的特徴の一貫性の維持という2つの目標を達成する。
論文 参考訳（メタデータ） (2022-07-03T11:18:35Z) - Multiscale Voxel Based Decoding For Enhanced Natural Image
Reconstruction From Brain Activity [0.22940141855172028]
本稿では,既存の画像復号化手法と画像復号化手法を融合した画像再構成手法を提案する。
これは、クラス条件生成逆数ネットワークとニューラルスタイル転送を用いて、再構成された画像をデコードされた画像カテゴリに条件付けすることで達成される。
提案手法は,再構成画像のセマンティックな類似性を向上し,画像再構成の一般的な枠組みとして利用できることを示す。
論文 参考訳（メタデータ） (2022-05-27T18:09:07Z) - Reconstruction of Perceived Images from fMRI Patterns and Semantic Brain
Exploration using Instance-Conditioned GANs [1.6904374000330984]
我々は, インスタンス定義型GAN(IC-GAN)モデルを用いて, fMRIパターンからの画像を, 正確な意味的属性と保存低レベル詳細の両方で再構成する。
実例の特徴,ノイズベクトル,およびそれに対応するfMRIパターンからの刺激の密度ベクトルを予測するために,尾根回帰モデルを訓練した。
IC-GANジェネレータを用いて、これらのfMRI予測変数に基づいて、新しいテスト画像の再構成を行った。
論文 参考訳（メタデータ） (2022-02-25T13:51:00Z) - Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
画像再構成に有効な先行画像として, 奥行き画像が導入された。
その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。
計算課題に対処する2段階の学習パラダイムを開発する。
論文 参考訳（メタデータ） (2021-11-23T15:08:26Z) - Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。
我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。
私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
論文 参考訳（メタデータ） (2021-10-15T13:16:59Z) - Ensembling with Deep Generative Views [72.70801582346344]
生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。
そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。
StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
論文 参考訳（メタデータ） (2021-04-29T17:58:35Z) - Adaptive Gradient Balancing for UndersampledMRI Reconstruction and
Image-to-Image Translation [60.663499381212425]
本研究では,新しい適応勾配バランス手法を併用したwasserstein生成逆ネットワークを用いて,画質の向上を図る。
MRIでは、他の技術よりも鮮明な画像を生成する高品質の再構築を維持しながら、アーティファクトを最小限に抑えます。
論文 参考訳（メタデータ） (2021-04-05T13:05:22Z) - Exploiting Deep Generative Prior for Versatile Image Restoration and
Manipulation [181.08127307338654]
本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。
深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
論文 参考訳（メタデータ） (2020-03-30T17:45:07Z) - BigGAN-based Bayesian reconstruction of natural images from human brain
activity [14.038605815510145]
本稿では,fMRIデータからカテゴリをデコードする分類器を含むGAN-BVRMを提案する。
GAN-BVRMは、一般的なBigGANの事前訓練されたジェネレータを使用して、自然画像の塊を生成する。
実験の結果,GAN-BVRMは像の忠実度と自然度,すなわち画像刺激に類似した再現性を向上させることが明らかとなった。
論文 参考訳（メタデータ） (2020-03-13T04:32:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。