論文の概要: Double-Flow GAN model for the reconstruction of perceived faces from brain activities

• arxiv url: http://arxiv.org/abs/2312.07478v1
• Date: Tue, 12 Dec 2023 18:07:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-12-13 15:04:17.524549
• Title: Double-Flow GAN model for the reconstruction of perceived faces from brain activities
• Title（参考訳）: 二重フローganモデルによる脳活動からの知覚的顔の再構成
• Authors: Zihao Wang, Jing Zhao and Hui Zhang
• Abstract要約: そこで我々はDouble-Flow GANと呼ばれる新しい再構築フレームワークを提案する。 また,画像から抽出した特徴を条件として,fMRIから条件付き再構成モデルを事前学習するための事前学習プロセスも設計した。 提案手法は, 再現性能が向上し, 従来の復元モデルより優れ, 生成能力も良好であった。
• 参考スコア（独自算出の注目度）: 16.82988438934791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Face plays an important role in human's visual perception, and reconstructing perceived faces from brain activities is challenging because of its difficulty in extracting high-level features and maintaining consistency of multiple face attributes, such as expression, identity, gender, etc. In this study, we proposed a novel reconstruction framework, which we called Double-Flow GAN, that can enhance the capability of discriminator and handle imbalances in images from certain domains that are too easy for generators. We also designed a pretraining process that uses features extracted from images as conditions for making it possible to pretrain the conditional reconstruction model from fMRI in a larger pure image dataset. Moreover, we developed a simple pretrained model to perform fMRI alignment to alleviate the problem of cross-subject reconstruction due to the variations of brain structure among different subjects. We conducted experiments by using our proposed method and state-of-the-art reconstruction models. Our results demonstrated that our method showed significant reconstruction performance, outperformed the previous reconstruction models, and exhibited a good generation ability.
• Abstract（参考訳）: 顔は人間の視覚知覚において重要な役割を担っており、脳活動からの知覚された顔の再構築は、高レベルの特徴の抽出が困難であり、表情、アイデンティティ、性別などの複数の顔属性の一貫性を維持するため困難である。 本研究では, 判別器の能力を向上し, 生成器に難易度の高い特定領域の画像の不均衡を解消する, 二重フローGANと呼ばれる新しい再構成フレームワークを提案する。 また,画像から抽出した特徴を条件として,fmriから条件的再構成モデルの事前学習を可能にするプリトレーニングプロセスも設計した。 さらに,fmriアライメントを行うための簡易事前学習モデルを開発し,各被験者の脳構造の変化によるクロスサブジェクト・リコンストラクションの問題を軽減した。 提案手法と最新の復元モデルを用いて実験を行った。 以上の結果から,本手法は優れた復元性能を示し,従来の復元モデルよりも優れ,良好な生成能を示した。

関連論文リスト

• Implicit neural representations for end-to-end PET reconstruction [3.7066816275267627]
  Inlicit Neural representations (INRs) は、様々な医療画像のタスクにおいて強力な機能を示した。 暗黙的SIRENニューラルネットワークアーキテクチャに基づく教師なしPET画像再構成手法を提案する。 本手法では, ホログラムから直接PET画像の再構成を行うために, 前方投影モデルと損失関数が組み込まれている。
  論文  参考訳（メタデータ） (2025-03-26T08:30:53Z)
• LHM: Large Animatable Human Reconstruction Model from a Single Image in Seconds [21.99354901986186]
  フィードフォワードパスで3次元ガウススプラッティングを表現した高忠実度アバターを推定するためのLHM(Large Animatable Human Reconstruction Model)を提案する。 本モデルでは,マルチモーダルトランスフォーマーアーキテクチャを用いて,人体の位置や画像の特徴を効果的に符号化する。 我々のLHMは、顔と手を後処理することなく、数秒で可塑性アニマタブルな人間を生成し、再現精度と一般化能力の両方において既存の手法より優れています。
  論文  参考訳（メタデータ） (2025-03-13T17:59:21Z)
• One-step Generative Diffusion for Realistic Extreme Image Rescaling [47.89362819768323]
  極端画像再スケーリングのためのワンステップイメージ再スケーリング拡散(OSIRDiff)と呼ばれる新しいフレームワークを提案する。 OSIRDiffは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を実行する。 これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
  論文  参考訳（メタデータ） (2024-08-17T09:51:42Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• Enhancing Low-dose CT Image Reconstruction by Integrating Supervised and Unsupervised Learning [13.17680480211064]
  X線CT画像再構成のためのハイブリッド教師なし学習フレームワークを提案する。 提案された各訓練ブロックは、決定論的MBIRソルバとニューラルネットワークで構成されている。 限られた訓練データを用いた低用量CT画像再構成における本学習ハイブリッドモデルの有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-19T20:23:59Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
  本稿では,近年の拡散モデルに基づく画像復元手法について概観する。 我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。 本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
  論文  参考訳（メタデータ） (2023-08-18T08:40:38Z)
• MindDiffuser: Controlled Image Reconstruction from Human Brain Activity with Semantic and Structural Diffusion [7.597218661195779]
  我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。 ステージ1では、VQ-VAE潜在表現とfMRIからデコードされたCLIPテキスト埋め込みが安定拡散される。 ステージ2では、fMRIからデコードされたCLIP視覚特徴を監視情報として利用し、バックパゲーションによりステージ1でデコードされた2つの特徴ベクトルを継続的に調整し、構造情報を整列させる。
  論文  参考訳（メタデータ） (2023-08-08T13:28:34Z)
• MindDiffuser: Controlled Image Reconstruction from Human Brain Activity with Semantic and Structural Diffusion [8.299415606889024]
  我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。 ステージ1では、fMRIからデコードされたVQ-VAE潜在表現とCLIPテキスト埋め込みが、安定拡散のイメージ・ツー・イメージのプロセスに置かれる。 ステージ2では、fMRIからデコードされた低レベルCLIP視覚特徴を監視情報として利用する。
  論文  参考訳（メタデータ） (2023-03-24T16:41:42Z)
• Natural scene reconstruction from fMRI signals using generative latent diffusion [1.90365714903665]
  我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。 第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。 第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
  論文  参考訳（メタデータ） (2023-03-09T15:24:26Z)
• Model-Guided Multi-Contrast Deep Unfolding Network for MRI Super-resolution Reconstruction [68.80715727288514]
  MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。 本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
  論文  参考訳（メタデータ） (2022-09-15T03:58:30Z)
• MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction [72.05649682685197]
  最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。 これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。 近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
  論文  参考訳（メタデータ） (2022-06-01T17:58:15Z)
• NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction [88.02850205432763]
  物体やシーンを2次元画像入力から高忠実度に再構成するニュートラルサーフェス(NeuS)を提案する。 DVRやIDRのような既存の神経表面再構成アプローチでは、フォアグラウンドマスクを監督する必要がある。 本研究では,従来のボリュームレンダリング手法が表面再構成に固有の幾何学的誤差を引き起こすことを観察する。 マスクの監督なしでもより正確な表面再構成を実現するため,第一次近似ではバイアスのない新しい定式化を提案する。
  論文  参考訳（メタデータ） (2021-06-20T12:59:42Z)
• BigGAN-based Bayesian reconstruction of natural images from human brain activity [14.038605815510145]
  本稿では,fMRIデータからカテゴリをデコードする分類器を含むGAN-BVRMを提案する。 GAN-BVRMは、一般的なBigGANの事前訓練されたジェネレータを使用して、自然画像の塊を生成する。 実験の結果,GAN-BVRMは像の忠実度と自然度,すなわち画像刺激に類似した再現性を向上させることが明らかとなった。
  論文  参考訳（メタデータ） (2020-03-13T04:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。