論文の概要: BigGAN-based Bayesian reconstruction of natural images from human brain activity

• arxiv url: http://arxiv.org/abs/2003.06105v1
• Date: Fri, 13 Mar 2020 04:32:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 01:42:23.810679
• Title: BigGAN-based Bayesian reconstruction of natural images from human brain activity
• Title（参考訳）: BigGANによるヒト脳活動からの自然像のベイズ的再構成
• Authors: Kai Qiao, Jian Chen, Linyuan Wang, Chi Zhang, Li Tong, Bin Yan
• Abstract要約: 本稿では,fMRIデータからカテゴリをデコードする分類器を含むGAN-BVRMを提案する。 GAN-BVRMは、一般的なBigGANの事前訓練されたジェネレータを使用して、自然画像の塊を生成する。 実験の結果,GAN-BVRMは像の忠実度と自然度,すなわち画像刺激に類似した再現性を向上させることが明らかとなった。
• 参考スコア（独自算出の注目度）: 14.038605815510145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the visual decoding domain, visually reconstructing presented images given the corresponding human brain activity monitored by functional magnetic resonance imaging (fMRI) is difficult, especially when reconstructing viewed natural images. Visual reconstruction is a conditional image generation on fMRI data and thus generative adversarial network (GAN) for natural image generation is recently introduced for this task. Although GAN-based methods have greatly improved, the fidelity and naturalness of reconstruction are still unsatisfactory due to the small number of fMRI data samples and the instability of GAN training. In this study, we proposed a new GAN-based Bayesian visual reconstruction method (GAN-BVRM) that includes a classifier to decode categories from fMRI data, a pre-trained conditional generator to generate natural images of specified categories, and a set of encoding models and evaluator to evaluate generated images. GAN-BVRM employs the pre-trained generator of the prevailing BigGAN to generate masses of natural images, and selects the images that best matches with the corresponding brain activity through the encoding models as the reconstruction of the image stimuli. In this process, the semantic and detailed contents of reconstruction are controlled by decoded categories and encoding models, respectively. GAN-BVRM used the Bayesian manner to avoid contradiction between naturalness and fidelity from current GAN-based methods and thus can improve the advantages of GAN. Experimental results revealed that GAN-BVRM improves the fidelity and naturalness, that is, the reconstruction is natural and similar to the presented image stimuli.
• Abstract（参考訳）: 視覚デコード領域では、機能的磁気共鳴画像(fmri)で観察された対応するヒト脳活動が提示された画像の視覚的再構成が困難である。 視覚再構成はfMRIデータに基づく条件付き画像生成であり,近年,自然画像生成のための生成逆ネットワーク(GAN)を導入している。 GAN法は大幅に改善されているが, 少数のfMRIデータサンプルとGANトレーニングの不安定性のため, 再建の忠実さと自然さは未だに満足できない。 本研究では,fMRIデータからカテゴリをデコードする分類器と,特定のカテゴリの自然画像を生成する事前学習条件生成器と,生成された画像を評価するための符号化モデルと評価器のセットを含む,GAN-BVRM(GAN-BVRM)を提案する。 GAN-BVRMは、訓練済みのBigGANのジェネレータを使用して、自然画像の塊を生成し、エンコーディングモデルを介して、対応する脳活動と最もよく一致する画像を選択する。 この過程において、復元の意味的および詳細な内容は、それぞれデコードされたカテゴリとエンコードモデルによって制御される。 GAN-BVRMはベイズ的手法を用いて、現在のGAN法と自然性と忠実性の矛盾を回避し、GANの利点を向上させることができる。 実験の結果,GAN-BVRMは像の忠実度と自然度,すなわち画像刺激に類似した再現性を向上させることが明らかとなった。

関連論文リスト

• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Natural scene reconstruction from fMRI signals using generative latent diffusion [1.90365714903665]
  我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。 第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。 第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
  論文  参考訳（メタデータ） (2023-03-09T15:24:26Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)
• Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images [79.07468367923619]
  畳み込み型神経生成符号化(Conv-NGC)を開発した。 我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。 本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
  論文  参考訳（メタデータ） (2022-11-22T06:42:41Z)
• Facial Image Reconstruction from Functional Magnetic Resonance Imaging via GAN Inversion with Improved Attribute Consistency [5.705640492618758]
  我々はfMRIデータから顔画像を再構成する新しい枠組みを提案する。 提案手法は,(1)fMRIデータから明瞭な顔画像の再構成,(2)意味的特徴の一貫性の維持という2つの目標を達成する。
  論文  参考訳（メタデータ） (2022-07-03T11:18:35Z)
• Multiscale Voxel Based Decoding For Enhanced Natural Image Reconstruction From Brain Activity [0.22940141855172028]
  本稿では,既存の画像復号化手法と画像復号化手法を融合した画像再構成手法を提案する。 これは、クラス条件生成逆数ネットワークとニューラルスタイル転送を用いて、再構成された画像をデコードされた画像カテゴリに条件付けすることで達成される。 提案手法は,再構成画像のセマンティックな類似性を向上し,画像再構成の一般的な枠組みとして利用できることを示す。
  論文  参考訳（メタデータ） (2022-05-27T18:09:07Z)
• Reconstruction of Perceived Images from fMRI Patterns and Semantic Brain Exploration using Instance-Conditioned GANs [1.6904374000330984]
  我々は, インスタンス定義型GAN(IC-GAN)モデルを用いて, fMRIパターンからの画像を, 正確な意味的属性と保存低レベル詳細の両方で再構成する。 実例の特徴,ノイズベクトル,およびそれに対応するfMRIパターンからの刺激の密度ベクトルを予測するために,尾根回帰モデルを訓練した。 IC-GANジェネレータを用いて、これらのfMRI予測変数に基づいて、新しいテスト画像の再構成を行った。
  論文  参考訳（メタデータ） (2022-02-25T13:51:00Z)
• Adaptive Gradient Balancing for UndersampledMRI Reconstruction and Image-to-Image Translation [60.663499381212425]
  本研究では,新しい適応勾配バランス手法を併用したwasserstein生成逆ネットワークを用いて,画質の向上を図る。 MRIでは、他の技術よりも鮮明な画像を生成する高品質の再構築を維持しながら、アーティファクトを最小限に抑えます。
  論文  参考訳（メタデータ） (2021-04-05T13:05:22Z)
• Multi-institutional Collaborations for Improving Deep Learning-based Magnetic Resonance Image Reconstruction Using Federated Learning [62.17532253489087]
  深層学習法はmr画像再構成において優れた性能をもたらすことが示されている。 これらの方法は、高い取得コストと医療データプライバシー規制のために収集および共有が困難である大量のデータを必要とします。 我々は,異なる施設で利用可能なmrデータを活用し,患者のプライバシーを保ちながら,連合学習(fl)ベースのソリューションを提案する。
  論文  参考訳（メタデータ） (2021-03-03T03:04:40Z)
• Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation [181.08127307338654]
  本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。 深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
  論文  参考訳（メタデータ） (2020-03-30T17:45:07Z)
• Reconstructing Natural Scenes from fMRI Patterns using BigBiGAN [2.0754848504005583]
  我々は最近提案された大規模双方向対向ネットワークであるBigBiGANを用いて、fMRIパターンから自然シーンをデコードし、再構成する。 我々は、イメージネットの150のカテゴリから取得したfMRIデータと、対応するBigBiGAN潜在ベクトルの線形マッピングを計算した。 このマッピングを50の未確認カテゴリから得られた50の新しいテスト画像から得られたfMRI活動パターンに適用し,その潜在ベクトルを検索し,対応する画像の再構成を行った。
  論文  参考訳（メタデータ） (2020-01-31T10:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。