Fugu-MT 論文翻訳(概要): Double-Flow GAN model for the reconstruction of perceived faces from brain activities

論文の概要: Double-Flow GAN model for the reconstruction of perceived faces from brain activities

arxiv url: http://arxiv.org/abs/2312.07478v1
Date: Tue, 12 Dec 2023 18:07:57 GMT
ステータス: 処理完了
システム内更新日: 2023-12-13 15:04:17.524549
Title: Double-Flow GAN model for the reconstruction of perceived faces from brain activities
Title（参考訳）: 二重フローganモデルによる脳活動からの知覚的顔の再構成
Authors: Zihao Wang, Jing Zhao and Hui Zhang
Abstract要約: そこで我々はDouble-Flow GANと呼ばれる新しい再構築フレームワークを提案する。また,画像から抽出した特徴を条件として,fMRIから条件付き再構成モデルを事前学習するための事前学習プロセスも設計した。提案手法は, 再現性能が向上し, 従来の復元モデルより優れ, 生成能力も良好であった。
参考スコア（独自算出の注目度）: 16.82988438934791
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Face plays an important role in human's visual perception, and reconstructing perceived faces from brain activities is challenging because of its difficulty in extracting high-level features and maintaining consistency of multiple face attributes, such as expression, identity, gender, etc. In this study, we proposed a novel reconstruction framework, which we called Double-Flow GAN, that can enhance the capability of discriminator and handle imbalances in images from certain domains that are too easy for generators. We also designed a pretraining process that uses features extracted from images as conditions for making it possible to pretrain the conditional reconstruction model from fMRI in a larger pure image dataset. Moreover, we developed a simple pretrained model to perform fMRI alignment to alleviate the problem of cross-subject reconstruction due to the variations of brain structure among different subjects. We conducted experiments by using our proposed method and state-of-the-art reconstruction models. Our results demonstrated that our method showed significant reconstruction performance, outperformed the previous reconstruction models, and exhibited a good generation ability.
Abstract（参考訳）: 顔は人間の視覚知覚において重要な役割を担っており、脳活動からの知覚された顔の再構築は、高レベルの特徴の抽出が困難であり、表情、アイデンティティ、性別などの複数の顔属性の一貫性を維持するため困難である。本研究では, 判別器の能力を向上し, 生成器に難易度の高い特定領域の画像の不均衡を解消する, 二重フローGANと呼ばれる新しい再構成フレームワークを提案する。また,画像から抽出した特徴を条件として,fmriから条件的再構成モデルの事前学習を可能にするプリトレーニングプロセスも設計した。さらに,fmriアライメントを行うための簡易事前学習モデルを開発し,各被験者の脳構造の変化によるクロスサブジェクト・リコンストラクションの問題を軽減した。提案手法と最新の復元モデルを用いて実験を行った。以上の結果から,本手法は優れた復元性能を示し,従来の復元モデルよりも優れ,良好な生成能を示した。

関連論文リスト

One-step Generative Diffusion for Realistic Extreme Image Rescaling [47.89362819768323]
極端画像再スケーリングのためのワンステップイメージ再スケーリング拡散(OSIRDiff)と呼ばれる新しいフレームワークを提案する。 OSIRDiffは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を実行する。これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
論文参考訳（メタデータ） (2024-08-17T09:51:42Z)
MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文参考訳（メタデータ） (2024-04-11T15:46:42Z)
Enhancing Low-dose CT Image Reconstruction by Integrating Supervised and Unsupervised Learning [13.17680480211064]
X線CT画像再構成のためのハイブリッド教師なし学習フレームワークを提案する。提案された各訓練ブロックは、決定論的MBIRソルバとニューラルネットワークで構成されている。限られた訓練データを用いた低用量CT画像再構成における本学習ハイブリッドモデルの有効性を実証する。
論文参考訳（メタデータ） (2023-11-19T20:23:59Z)
Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
論文参考訳（メタデータ） (2023-08-28T08:47:06Z)
Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
本稿では,近年の拡散モデルに基づく画像復元手法について概観する。我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
論文参考訳（メタデータ） (2023-08-18T08:40:38Z)
MindDiffuser: Controlled Image Reconstruction from Human Brain Activity with Semantic and Structural Diffusion [7.597218661195779]
我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。ステージ1では、VQ-VAE潜在表現とfMRIからデコードされたCLIPテキスト埋め込みが安定拡散される。ステージ2では、fMRIからデコードされたCLIP視覚特徴を監視情報として利用し、バックパゲーションによりステージ1でデコードされた2つの特徴ベクトルを継続的に調整し、構造情報を整列させる。
論文参考訳（メタデータ） (2023-08-08T13:28:34Z)
MindDiffuser: Controlled Image Reconstruction from Human Brain Activity with Semantic and Structural Diffusion [8.299415606889024]
我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。ステージ1では、fMRIからデコードされたVQ-VAE潜在表現とCLIPテキスト埋め込みが、安定拡散のイメージ・ツー・イメージのプロセスに置かれる。ステージ2では、fMRIからデコードされた低レベルCLIP視覚特徴を監視情報として利用する。
論文参考訳（メタデータ） (2023-03-24T16:41:42Z)
Natural scene reconstruction from fMRI signals using generative latent diffusion [1.90365714903665]
我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
論文参考訳（メタデータ） (2023-03-09T15:24:26Z)
Model-Guided Multi-Contrast Deep Unfolding Network for MRI Super-resolution Reconstruction [68.80715727288514]
MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
論文参考訳（メタデータ） (2022-09-15T03:58:30Z)
NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction [88.02850205432763]
物体やシーンを2次元画像入力から高忠実度に再構成するニュートラルサーフェス(NeuS)を提案する。 DVRやIDRのような既存の神経表面再構成アプローチでは、フォアグラウンドマスクを監督する必要がある。本研究では,従来のボリュームレンダリング手法が表面再構成に固有の幾何学的誤差を引き起こすことを観察する。マスクの監督なしでもより正確な表面再構成を実現するため,第一次近似ではバイアスのない新しい定式化を提案する。
論文参考訳（メタデータ） (2021-06-20T12:59:42Z)
BigGAN-based Bayesian reconstruction of natural images from human brain activity [14.038605815510145]
本稿では,fMRIデータからカテゴリをデコードする分類器を含むGAN-BVRMを提案する。 GAN-BVRMは、一般的なBigGANの事前訓練されたジェネレータを使用して、自然画像の塊を生成する。実験の結果,GAN-BVRMは像の忠実度と自然度,すなわち画像刺激に類似した再現性を向上させることが明らかとなった。
論文参考訳（メタデータ） (2020-03-13T04:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。