論文の概要: DreamDiffusion: Generating High-Quality Images from Brain EEG Signals
- arxiv url: http://arxiv.org/abs/2306.16934v2
- Date: Fri, 30 Jun 2023 10:46:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-03 14:30:02.961159
- Title: DreamDiffusion: Generating High-Quality Images from Brain EEG Signals
- Title(参考訳): DreamDiffusion:脳波信号から高画質画像を生成する
- Authors: Yunpeng Bai, Xintao Wang, Yan-pei Cao, Yixiao Ge, Chun Yuan, Ying Shan
- Abstract要約: DreamDiffusionは、脳脳波(EEG)信号から直接高品質な画像を生成する新しい方法である。
提案手法は、ノイズ、限られた情報、個人差などの画像生成に脳波信号を使用する際の課題を克服する。
- 参考スコア(独自算出の注目度): 42.30835251506628
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces DreamDiffusion, a novel method for generating
high-quality images directly from brain electroencephalogram (EEG) signals,
without the need to translate thoughts into text. DreamDiffusion leverages
pre-trained text-to-image models and employs temporal masked signal modeling to
pre-train the EEG encoder for effective and robust EEG representations.
Additionally, the method further leverages the CLIP image encoder to provide
extra supervision to better align EEG, text, and image embeddings with limited
EEG-image pairs. Overall, the proposed method overcomes the challenges of using
EEG signals for image generation, such as noise, limited information, and
individual differences, and achieves promising results. Quantitative and
qualitative results demonstrate the effectiveness of the proposed method as a
significant step towards portable and low-cost ``thoughts-to-image'', with
potential applications in neuroscience and computer vision. The code is
available here \url{https://github.com/bbaaii/DreamDiffusion}.
- Abstract(参考訳): 本稿では,脳脳波(EEG)信号から直接,思考をテキストに変換することなく高品質な画像を生成する新しい手法であるDreamDiffusionを紹介する。
DreamDiffusionは、事前訓練されたテキスト・ツー・イメージモデルを活用し、時間マスキング信号モデリングを使用して、効果的で堅牢なEEG表現のためにEEGエンコーダを事前訓練する。
さらに、この方法は、CLIPイメージエンコーダを活用して、EEG、テキスト、画像埋め込みを限られたEEGイメージペアでより良く整合させることができる。
総じて,提案手法は,ノイズや情報量,個人差などの画像生成に脳波信号を使用するという課題を克服し,有望な結果を得る。
定量的および定性的な結果から,提案手法の有効性は,コンピュータビジョンや神経科学に応用可能な,ポータブルで低コストな「思考からイメージ」に向けた重要なステップであることが示された。
コードはhttps://github.com/bbaaii/dreamdiffusion}で入手できる。
関連論文リスト
- Reconstructing Visual Stimulus Images from EEG Signals Based on Deep
Visual Representation Model [5.483279087074447]
本稿では,脳波信号に基づく新しい画像再構成手法を提案する。
高速スイッチング方式で視覚刺激画像の高認識性を実現するため,視覚刺激画像データセットを構築した。
主エンコーダと従属デコーダからなる深部視覚表現モデル(DVRM)を提案し,視覚刺激を再構成する。
論文 参考訳(メタデータ) (2024-03-11T09:19:09Z) - Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [65.7968515029306]
PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。
認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
論文 参考訳(メタデータ) (2024-02-28T06:07:07Z) - Learning Robust Deep Visual Representations from EEG Brain Recordings [13.768240137063428]
本研究は,脳波に基づく深部表現の頑健な学習を行うための2段階の手法を提案する。
ディープラーニングアーキテクチャを用いて,3つのデータセットにまたがる特徴抽出パイプラインの一般化性を実証する。
本稿では,未知の画像を脳波空間に変換し,近似を用いて再構成する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-10-25T10:26:07Z) - A Knowledge-Driven Cross-view Contrastive Learning for EEG
Representation [48.85731427874065]
本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。
KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。
ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
論文 参考訳(メタデータ) (2023-09-21T08:53:51Z) - Decoding visual brain representations from electroencephalography
through Knowledge Distillation and latent diffusion models [0.12289361708127873]
本稿では,脳波(EEG)データを用いて,ImageNetデータセットから画像の分類と再構成を行う革新的な手法を提案する。
我々は6人の被験者の脳波記録を分析し、それぞれ40のユニークな意味カテゴリーにまたがる50の画像に暴露した。
我々は,事前学習した潜伏拡散モデルに基づく画像再構成機構を導入し,脳波を誘発した画像の推定を可能とした。
論文 参考訳(メタデータ) (2023-09-08T09:13:50Z) - Decoding Natural Images from EEG for Object Recognition [8.411976038504589]
本稿では,脳波信号からの学習画像表現の実現可能性を示すための自己教師型フレームワークを提案する。
我々はトップ1の精度を15.6%、トップ5の精度を42.8%で達成し、200ウェイゼロショットタスクに挑戦する。
これらの発見は、実世界のシナリオにおける神経復号と脳-コンピュータインタフェースの貴重な洞察をもたらす。
論文 参考訳(メタデータ) (2023-08-25T08:05:37Z) - Energy-Based Cross Attention for Bayesian Context Update in
Text-to-Image Diffusion Models [62.603753097900466]
本稿では,文脈ベクトルの後部をモデル化し,適応的文脈制御のための新しいエネルギーベースモデル(EBM)を提案する。
具体的には、まず遅延画像表現とテキスト埋め込みのESMをデノナイズドオートエンコーダの各クロスアテンション層に定式化する。
我々の潜在ESMは、異なるコンテキストからの相互注意出力の線形結合として、ゼロショット合成を可能としています。
論文 参考訳(メタデータ) (2023-06-16T14:30:41Z) - Semantic Image Synthesis via Diffusion Models [159.4285444680301]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。
セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
論文 参考訳(メタデータ) (2022-06-30T18:31:51Z) - Harmonizing Pathological and Normal Pixels for Pseudo-healthy Synthesis [68.5287824124996]
そこで本研究では,新しいタイプの識別器であるセグメンタを提案し,病変の正確な特定と擬似健康画像の視覚的品質の向上を図っている。
医用画像強調に生成画像を適用し,低コントラスト問題に対処するために拡張結果を利用する。
BraTSのT2モダリティに関する総合的な実験により、提案手法は最先端の手法よりも大幅に優れていることが示された。
論文 参考訳(メタデータ) (2022-03-29T08:41:17Z) - Deep learning denoising for EOG artifacts removal from EEG signals [0.5243460995467893]
脳波の偏光過程における最も難しい問題のひとつは、眼のアーチファクトを除去することである。
本稿では,この課題に対処する深層学習モデルを構築・訓練し,眼のアーチファクトを効果的に除去する。
我々は3つの異なるスキームを提案し、U-NETベースのモデルで汚染された脳波信号の浄化を学ばせた。
論文 参考訳(メタデータ) (2020-09-12T23:28:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。