論文の概要: Double-Flow GAN model for the reconstruction of perceived faces from
brain activities
- arxiv url: http://arxiv.org/abs/2312.07478v1
- Date: Tue, 12 Dec 2023 18:07:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 15:04:17.524549
- Title: Double-Flow GAN model for the reconstruction of perceived faces from
brain activities
- Title(参考訳): 二重フローganモデルによる脳活動からの知覚的顔の再構成
- Authors: Zihao Wang, Jing Zhao and Hui Zhang
- Abstract要約: そこで我々はDouble-Flow GANと呼ばれる新しい再構築フレームワークを提案する。
また,画像から抽出した特徴を条件として,fMRIから条件付き再構成モデルを事前学習するための事前学習プロセスも設計した。
提案手法は, 再現性能が向上し, 従来の復元モデルより優れ, 生成能力も良好であった。
- 参考スコア(独自算出の注目度): 16.82988438934791
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Face plays an important role in human's visual perception, and reconstructing
perceived faces from brain activities is challenging because of its difficulty
in extracting high-level features and maintaining consistency of multiple face
attributes, such as expression, identity, gender, etc. In this study, we
proposed a novel reconstruction framework, which we called Double-Flow GAN,
that can enhance the capability of discriminator and handle imbalances in
images from certain domains that are too easy for generators. We also designed
a pretraining process that uses features extracted from images as conditions
for making it possible to pretrain the conditional reconstruction model from
fMRI in a larger pure image dataset. Moreover, we developed a simple pretrained
model to perform fMRI alignment to alleviate the problem of cross-subject
reconstruction due to the variations of brain structure among different
subjects. We conducted experiments by using our proposed method and
state-of-the-art reconstruction models. Our results demonstrated that our
method showed significant reconstruction performance, outperformed the previous
reconstruction models, and exhibited a good generation ability.
- Abstract(参考訳): 顔は人間の視覚知覚において重要な役割を担っており、脳活動からの知覚された顔の再構築は、高レベルの特徴の抽出が困難であり、表情、アイデンティティ、性別などの複数の顔属性の一貫性を維持するため困難である。
本研究では, 判別器の能力を向上し, 生成器に難易度の高い特定領域の画像の不均衡を解消する, 二重フローGANと呼ばれる新しい再構成フレームワークを提案する。
また,画像から抽出した特徴を条件として,fmriから条件的再構成モデルの事前学習を可能にするプリトレーニングプロセスも設計した。
さらに,fmriアライメントを行うための簡易事前学習モデルを開発し,各被験者の脳構造の変化によるクロスサブジェクト・リコンストラクションの問題を軽減した。
提案手法と最新の復元モデルを用いて実験を行った。
以上の結果から,本手法は優れた復元性能を示し,従来の復元モデルよりも優れ,良好な生成能を示した。
関連論文リスト
- fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳(メタデータ) (2023-11-01T07:24:22Z) - Diffusion Models for Image Restoration and Enhancement -- A
Comprehensive Survey [96.99328714941657]
本稿では,近年の拡散モデルに基づく画像復元手法について概観する。
我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。
本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
論文 参考訳(メタデータ) (2023-08-18T08:40:38Z) - MindDiffuser: Controlled Image Reconstruction from Human Brain Activity
with Semantic and Structural Diffusion [7.597218661195779]
我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。
ステージ1では、VQ-VAE潜在表現とfMRIからデコードされたCLIPテキスト埋め込みが安定拡散される。
ステージ2では、fMRIからデコードされたCLIP視覚特徴を監視情報として利用し、バックパゲーションによりステージ1でデコードされた2つの特徴ベクトルを継続的に調整し、構造情報を整列させる。
論文 参考訳(メタデータ) (2023-08-08T13:28:34Z) - MindDiffuser: Controlled Image Reconstruction from Human Brain Activity
with Semantic and Structural Diffusion [8.299415606889024]
我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。
ステージ1では、fMRIからデコードされたVQ-VAE潜在表現とCLIPテキスト埋め込みが、安定拡散のイメージ・ツー・イメージのプロセスに置かれる。
ステージ2では、fMRIからデコードされた低レベルCLIP視覚特徴を監視情報として利用する。
論文 参考訳(メタデータ) (2023-03-24T16:41:42Z) - Natural scene reconstruction from fMRI signals using generative latent
diffusion [1.90365714903665]
我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。
第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。
第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
論文 参考訳(メタデータ) (2023-03-09T15:24:26Z) - Patched Diffusion Models for Unsupervised Anomaly Detection in Brain MRI [55.78588835407174]
本稿では,正常脳解剖のパッチベース推定法として拡散モデルの生成タスクを再構築する手法を提案する。
腫瘍と多発性硬化症について検討し,既存のベースラインと比較して25.1%の改善がみられた。
論文 参考訳(メタデータ) (2023-03-07T09:40:22Z) - Model-Guided Multi-Contrast Deep Unfolding Network for MRI
Super-resolution Reconstruction [68.80715727288514]
MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。
本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
論文 参考訳(メタデータ) (2022-09-15T03:58:30Z) - MRI Reconstruction Using Deep Energy-Based Model [21.748514538109173]
本研究では, 深部エネルギーモデルによる自己逆方向の協調を生かした新たな正規化戦略を提案する。
再構成のための他の生成モデルとは対照的に,提案手法では,再構成前の画像として深部エネルギー情報を用いて画像の質を向上させる。
論文 参考訳(メタデータ) (2021-09-07T05:24:55Z) - NeuS: Learning Neural Implicit Surfaces by Volume Rendering for
Multi-view Reconstruction [88.02850205432763]
物体やシーンを2次元画像入力から高忠実度に再構成するニュートラルサーフェス(NeuS)を提案する。
DVRやIDRのような既存の神経表面再構成アプローチでは、フォアグラウンドマスクを監督する必要がある。
本研究では,従来のボリュームレンダリング手法が表面再構成に固有の幾何学的誤差を引き起こすことを観察する。
マスクの監督なしでもより正確な表面再構成を実現するため,第一次近似ではバイアスのない新しい定式化を提案する。
論文 参考訳(メタデータ) (2021-06-20T12:59:42Z) - Data-driven generation of plausible tissue geometries for realistic
photoacoustic image synthesis [53.65837038435433]
光音響トモグラフィ(pat)は形態的および機能的組織特性を回復する可能性がある。
我々は,PATデータシミュレーションの新たなアプローチを提案し,これを「シミュレーションの学習」と呼ぶ。
我々は、意味的注釈付き医療画像データに基づいて訓練されたGAN(Generative Adversarial Networks)の概念を活用して、可塑性組織ジオメトリを生成する。
論文 参考訳(メタデータ) (2021-03-29T11:30:18Z) - BigGAN-based Bayesian reconstruction of natural images from human brain
activity [14.038605815510145]
本稿では,fMRIデータからカテゴリをデコードする分類器を含むGAN-BVRMを提案する。
GAN-BVRMは、一般的なBigGANの事前訓練されたジェネレータを使用して、自然画像の塊を生成する。
実験の結果,GAN-BVRMは像の忠実度と自然度,すなわち画像刺激に類似した再現性を向上させることが明らかとなった。
論文 参考訳(メタデータ) (2020-03-13T04:32:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。