Fugu-MT 論文翻訳(概要): Double-Flow GAN model for the reconstruction of perceived faces from brain activities

論文の概要: Double-Flow GAN model for the reconstruction of perceived faces from brain activities

arxiv url: http://arxiv.org/abs/2312.07478v2
Date: Mon, 30 Sep 2024 02:36:45 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-01 21:59:56.639826
Title: Double-Flow GAN model for the reconstruction of perceived faces from brain activities
Title（参考訳）: 脳活動から知覚された顔の再構成のためのダブルフローGANモデル
Authors: Zihao Wang, Jing Zhao, Xuetong Ding, Hui Zhang,
Abstract要約: そこで我々はDouble-Flow GANと呼ばれる新しい再構築フレームワークを提案する。また,画像から抽出した特徴を条件として,fMRIから条件付き再構成モデルを事前学習するための事前学習プロセスも設計した。その結果, 提案手法は, 複数の顔特性を正確に再構成し, 過去の再現モデルより優れ, 最先端の復元能力を示すことがわかった。
参考スコア（独自算出の注目度）: 13.707575848841405
License:
Abstract: Face plays an important role in humans visual perception, and reconstructing perceived faces from brain activities is challenging because of its difficulty in extracting high-level features and maintaining consistency of multiple face attributes, such as expression, identity, gender, etc. In this study, we proposed a novel reconstruction framework, which we called Double-Flow GAN, that can enhance the capability of discriminator and handle imbalances in images from certain domains that are too easy for generators. We also designed a pretraining process that uses features extracted from images as conditions for making it possible to pretrain the conditional reconstruction model from fMRI in a larger pure image dataset. Moreover, we developed a simple pretrained model for fMRI alignment to alleviate the problem of cross-subject reconstruction due to the variations of brain structure among different subjects. We conducted experiments by using our proposed method and traditional reconstruction models. Results showed that the proposed method is significant at accurately reconstructing multiple face attributes, outperforms the previous reconstruction models, and exhibited state-of-the-art reconstruction abilities.
Abstract（参考訳）: 顔は人間の視覚的知覚において重要な役割を担い、高レベルの特徴を抽出し、表情、アイデンティティ、性別などの複数の顔属性の一貫性を維持するのが困難であるため、脳活動から知覚された顔の再構築は困難である。本研究では, 判別器の能力を向上し, 生成器に難易度の高い特定の領域からの画像の不均衡を処理できる新しい再構成フレームワークであるDouble-Flow GANを提案する。また、画像から抽出した特徴を条件として、fMRIから条件付き再構成モデルをより大規模な純画像データセットで事前学習できるようにする事前学習プロセスも設計した。さらに,fMRIアライメントのための簡単な事前訓練モデルを構築し,異なる被験者の脳構造の変化による物体間再構成の問題を緩和した。提案手法と従来の再建モデルを用いて実験を行った。その結果, 提案手法は, 複数の顔特性を正確に再構成し, 過去の再現モデルより優れ, 最先端の復元能力を示すことがわかった。

関連論文リスト

MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文参考訳（メタデータ） (2024-04-11T15:46:42Z)
Enhancing Low-dose CT Image Reconstruction by Integrating Supervised and Unsupervised Learning [13.17680480211064]
X線CT画像再構成のためのハイブリッド教師なし学習フレームワークを提案する。提案された各訓練ブロックは、決定論的MBIRソルバとニューラルネットワークで構成されている。限られた訓練データを用いた低用量CT画像再構成における本学習ハイブリッドモデルの有効性を実証する。
論文参考訳（メタデータ） (2023-11-19T20:23:59Z)
Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
論文参考訳（メタデータ） (2023-08-28T08:47:06Z)
Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
本稿では,近年の拡散モデルに基づく画像復元手法について概観する。我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
論文参考訳（メタデータ） (2023-08-18T08:40:38Z)
MindDiffuser: Controlled Image Reconstruction from Human Brain Activity with Semantic and Structural Diffusion [7.597218661195779]
我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。ステージ1では、VQ-VAE潜在表現とfMRIからデコードされたCLIPテキスト埋め込みが安定拡散される。ステージ2では、fMRIからデコードされたCLIP視覚特徴を監視情報として利用し、バックパゲーションによりステージ1でデコードされた2つの特徴ベクトルを継続的に調整し、構造情報を整列させる。
論文参考訳（メタデータ） (2023-08-08T13:28:34Z)
MindDiffuser: Controlled Image Reconstruction from Human Brain Activity with Semantic and Structural Diffusion [8.299415606889024]
我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。ステージ1では、fMRIからデコードされたVQ-VAE潜在表現とCLIPテキスト埋め込みが、安定拡散のイメージ・ツー・イメージのプロセスに置かれる。ステージ2では、fMRIからデコードされた低レベルCLIP視覚特徴を監視情報として利用する。
論文参考訳（メタデータ） (2023-03-24T16:41:42Z)
Natural scene reconstruction from fMRI signals using generative latent diffusion [1.90365714903665]
我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
論文参考訳（メタデータ） (2023-03-09T15:24:26Z)
Model-Guided Multi-Contrast Deep Unfolding Network for MRI Super-resolution Reconstruction [68.80715727288514]
MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
論文参考訳（メタデータ） (2022-09-15T03:58:30Z)
MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction [72.05649682685197]
最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
論文参考訳（メタデータ） (2022-06-01T17:58:15Z)
NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction [88.02850205432763]
物体やシーンを2次元画像入力から高忠実度に再構成するニュートラルサーフェス(NeuS)を提案する。 DVRやIDRのような既存の神経表面再構成アプローチでは、フォアグラウンドマスクを監督する必要がある。本研究では,従来のボリュームレンダリング手法が表面再構成に固有の幾何学的誤差を引き起こすことを観察する。マスクの監督なしでもより正確な表面再構成を実現するため,第一次近似ではバイアスのない新しい定式化を提案する。
論文参考訳（メタデータ） (2021-06-20T12:59:42Z)
BigGAN-based Bayesian reconstruction of natural images from human brain activity [14.038605815510145]
本稿では,fMRIデータからカテゴリをデコードする分類器を含むGAN-BVRMを提案する。 GAN-BVRMは、一般的なBigGANの事前訓練されたジェネレータを使用して、自然画像の塊を生成する。実験の結果,GAN-BVRMは像の忠実度と自然度,すなわち画像刺激に類似した再現性を向上させることが明らかとなった。
論文参考訳（メタデータ） (2020-03-13T04:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。