Fugu-MT 論文翻訳(概要): Generating Visual Stimuli from EEG Recordings using Transformer-encoder based EEG encoder and GAN

論文の概要: Generating Visual Stimuli from EEG Recordings using Transformer-encoder based EEG encoder and GAN

arxiv url: http://arxiv.org/abs/2402.10115v1
Date: Thu, 15 Feb 2024 17:10:27 GMT
ステータス: 処理完了
システム内更新日: 2024-02-16 14:33:04.351786
Title: Generating Visual Stimuli from EEG Recordings using Transformer-encoder based EEG encoder and GAN
Title（参考訳）: トランスフォーマーエンコーダを用いた脳波エンコーダとGANを用いた脳波記録からの視覚刺激の生成
Authors: Rahul Mishra, Arnav Bhavsar
Abstract要約: 脳波信号からの画像の合成を中心に、知覚脳復号の分野における近代的な研究課題に取り組む。本研究の目的は、被験者が画像を見たときに得られる脳波記録を利用して、様々な対象カテゴリに属する画像を再現することである。我々はTransformer-encoderベースのEEGエンコーダを用いて、GANネットワークのジェネレータコンポーネントへの入力としてEEGエンコーダを生成する。
参考スコア（独自算出の注目度）: 12.328446298523065
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: In this study, we tackle a modern research challenge within the field of perceptual brain decoding, which revolves around synthesizing images from EEG signals using an adversarial deep learning framework. The specific objective is to recreate images belonging to various object categories by leveraging EEG recordings obtained while subjects view those images. To achieve this, we employ a Transformer-encoder based EEG encoder to produce EEG encodings, which serve as inputs to the generator component of the GAN network. Alongside the adversarial loss, we also incorporate perceptual loss to enhance the quality of the generated images.
Abstract（参考訳）: 本研究では,脳波信号からの画像の合成を,対向的な深層学習フレームワークを用いて行うことで,知覚脳復号の分野における最新の研究課題に取り組む。本研究の目的は、被験者が画像を見たときに得られる脳波記録を利用して、様々な対象カテゴリに属する画像を再現することである。そこで我々は、Transformer-EncoderベースのEEGエンコーダを用いて、GANネットワークのジェネレータコンポーネントへの入力としてEEGエンコーダを生成する。また, 対向的損失に加えて, 知覚的損失を取り入れ, 生成画像の品質向上を図る。

関連論文リスト

Alleviating Catastrophic Forgetting in Facial Expression Recognition with Emotion-Centered Models [49.3179290313959]
感情中心型生成的リプレイ (ECgr) は, 生成的対向ネットワークから合成画像を統合することで, この課題に対処する。 ECgrは、生成された画像の忠実性を保証するために品質保証アルゴリズムを組み込んでいる。 4つの多様な表情データセットに対する実験結果から,擬似リハーサル法により生成されたイメージを組み込むことで,ターゲットとするデータセットとソースデータセットのトレーニングが促進されることが示された。
論文参考訳（メタデータ） (2024-04-18T15:28:34Z)
Reconstructing Visual Stimulus Images from EEG Signals Based on Deep Visual Representation Model [5.483279087074447]
本稿では,脳波信号に基づく新しい画像再構成手法を提案する。高速スイッチング方式で視覚刺激画像の高認識性を実現するため,視覚刺激画像データセットを構築した。主エンコーダと従属デコーダからなる深部視覚表現モデル(DVRM)を提案し,視覚刺激を再構成する。
論文参考訳（メタデータ） (2024-03-11T09:19:09Z)
In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
論文参考訳（メタデータ） (2023-09-25T08:42:06Z)
A Unified Transformer-based Network for multimodal Emotion Recognition [4.07926531936425]
本稿では,心電図/信号の2次元表現と顔情報を組み合わせることで,覚醒空間内の感情を分類するトランスフォーマーに基づく手法を提案する。我々のモデルは最先端技術に匹敵する結果をもたらす。
論文参考訳（メタデータ） (2023-08-27T17:30:56Z)
Decoding Natural Images from EEG for Object Recognition [8.411976038504589]
本稿では,脳波信号からの学習画像表現の実現可能性を示すための自己教師型フレームワークを提案する。我々はトップ1の精度を15.6%、トップ5の精度を42.8%で達成し、200ウェイゼロショットタスクに挑戦する。これらの発見は、実世界のシナリオにおける神経復号と脳-コンピュータインタフェースの貴重な洞察をもたらす。
論文参考訳（メタデータ） (2023-08-25T08:05:37Z)
DreamDiffusion: Generating High-Quality Images from Brain EEG Signals [42.30835251506628]
DreamDiffusionは、脳脳波(EEG)信号から直接高品質な画像を生成する新しい方法である。提案手法は、ノイズ、限られた情報、個人差などの画像生成に脳波信号を使用する際の課題を克服する。
論文参考訳（メタデータ） (2023-06-29T13:33:02Z)
Dilated-UNet: A Fast and Accurate Medical Image Segmentation Approach using a Dilated Transformer and U-Net Architecture [0.6445605125467572]
本稿では,Dilated-UNetについて紹介する。Dilated-UNetはDilated TransformerブロックとU-Netアーキテクチャを組み合わせることで,高精度かつ高速な医用画像セグメンテーションを実現する。実験の結果,Dilated-UNetはいくつかの挑戦的な医用画像セグメンテーションデータセットにおいて,他のモデルよりも優れていた。
論文参考訳（メタデータ） (2023-04-22T17:20:13Z)
Transformer-based SAR Image Despeckling [53.99620005035804]
本稿では,SAR画像復号化のためのトランスフォーマーネットワークを提案する。提案する非特定ネットワークは、トランスフォーマーベースのエンコーダにより、異なる画像領域間のグローバルな依存関係を学習することができる。実験により,提案手法は従来型および畳み込み型ニューラルネットワークに基づく解法よりも大幅に改善されていることが示された。
論文参考訳（メタデータ） (2022-01-23T20:09:01Z)
A New Image Codec Paradigm for Human and Machine Uses [53.48873918537017]
本研究では,人間用と機械用の両方にスケーラブルな画像パラダイムを提案する。高レベルのインスタンスセグメンテーションマップと低レベルの信号特徴をニューラルネットワークで抽出する。画像は16ビットのグレースケールプロファイルと信号特徴を持つ一般的な画質のイメージ再構成を実現するために設計および訓練される。
論文参考訳（メタデータ） (2021-12-19T06:17:38Z)
Generative Hierarchical Features from Synthesizing Images [65.66756821069124]
画像合成の学習は、広範囲のアプリケーションにまたがって一般化可能な顕著な階層的な視覚的特徴をもたらす可能性があることを示す。生成的階層的特徴(Generative Hierarchical Feature, GH-Feat)と呼ばれるエンコーダが生成する視覚的特徴は、生成的タスクと識別的タスクの両方に強い伝達性を有する。
論文参考訳（メタデータ） (2020-07-20T18:04:14Z)
Modeling Lost Information in Lossy Image Compression [72.69327382643549]
ロスシー画像圧縮は、デジタル画像の最もよく使われる演算子の1つである。 Invertible Lossy Compression (ILC) と呼ばれる新しい非可逆的フレームワークを提案する。
論文参考訳（メタデータ） (2020-06-22T04:04:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。