論文の概要: Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning

• arxiv url: http://arxiv.org/abs/2406.16910v1
• Date: Wed, 5 Jun 2024 16:42:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 06:31:46.733312
• Title: Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning
• Title（参考訳）: 心の目:マルチモーダル類似性学習による脳波による画像認識
• Authors: Chi-Sheng Chen, Chun-Shu Wei,
• Abstract要約: 本稿では,ゼロショット脳波画像分類のためのMUltimodal similarity-keeper contrastivE学習フレームワークを提案する。 我々は、脳波信号に適した多変量時系列エンコーダを開発し、正規化コントラスト脳波画像事前学習の有効性を評価する。 本手法は,200方向ゼロショット画像分類において,トップ1の精度が19.3%,トップ5の精度が48.8%の最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 2.087148326341881
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decoding images from non-invasive electroencephalographic (EEG) signals has been a grand challenge in understanding how the human brain process visual information in real-world scenarios. To cope with the issues of signal-to-noise ratio and nonstationarity, this paper introduces a MUltimodal Similarity-keeping contrastivE learning (MUSE) framework for zero-shot EEG-based image classification. We develop a series of multivariate time-series encoders tailored for EEG signals and assess the efficacy of regularized contrastive EEG-Image pretraining using an extensive visual EEG dataset. Our method achieves state-of-the-art performance, with a top-1 accuracy of 19.3% and a top-5 accuracy of 48.8% in 200-way zero-shot image classification. Furthermore, we visualize neural patterns via model interpretation, shedding light on the visual processing dynamics in the human brain. The code repository for this work is available at: https://github.com/ChiShengChen/MUSE_EEG.
• Abstract（参考訳）: 非侵襲脳波(EEG)信号からの画像の復号は、人間の脳がどのように視覚情報を現実世界のシナリオで処理するかを理解する上で大きな課題である。 信号対雑音比と非定常性の問題に対処するために,ゼロショット脳波画像分類のためのMUltimodal similarity-keeper contrastivE learning (MUSE) フレームワークを提案する。 我々は、脳波信号に適した多変量時系列エンコーダを開発し、広範囲な視覚的脳波データセットを用いて、正規化されたコントラスト脳波画像事前学習の有効性を評価する。 本手法は,200方向ゼロショット画像分類において,トップ1の精度が19.3%,トップ5の精度が48.8%の最先端性能を実現する。 さらに、モデル解釈による神経パターンの可視化を行い、人間の脳の視覚的処理のダイナミクスに光を当てる。 この作業のコードリポジトリは、https://github.com/ChiShengChen/MUSE_EEG.comで公開されている。

関連論文リスト

• CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
  脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。 具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。 このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
  論文  参考訳（メタデータ） (2024-12-13T16:27:54Z)
• Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
  本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。 我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
  論文  参考訳（メタデータ） (2024-09-13T10:19:10Z)
• EEG-ImageNet: An Electroencephalogram Dataset and Benchmarks with Image Visual Stimuli of Multi-Granularity Labels [12.783945503890962]
  我々は、画像Netデータセットから選択された4000の画像に露出した16人の被験者からの録音を含む新しいEEGデータセットであるEEG-ImageNetを紹介する。 EEG-ImageNetは、既存の類似のEEGベンチマークの5倍のEEGイメージペアで構成されている。 そこで本研究では,対象分類と画像再構成のベンチマークを構築し,対象分類の精度を60%,画像再構成の精度を64%程度で達成できることを示す。
  論文  参考訳（メタデータ） (2024-06-11T10:52:17Z)
• Alleviating Catastrophic Forgetting in Facial Expression Recognition with Emotion-Centered Models [49.3179290313959]
  感情中心型生成的リプレイ (ECgr) は, 生成的対向ネットワークから合成画像を統合することで, この課題に対処する。 ECgrは、生成された画像の忠実性を保証するために品質保証アルゴリズムを組み込んでいる。 4つの多様な表情データセットに対する実験結果から,擬似リハーサル法により生成されたイメージを組み込むことで,ターゲットとするデータセットとソースデータセットのトレーニングが促進されることが示された。
  論文  参考訳（メタデータ） (2024-04-18T15:28:34Z)
• Learning Robust Deep Visual Representations from EEG Brain Recordings [13.768240137063428]
  本研究は,脳波に基づく深部表現の頑健な学習を行うための2段階の手法を提案する。 ディープラーニングアーキテクチャを用いて,3つのデータセットにまたがる特徴抽出パイプラインの一般化性を実証する。 本稿では,未知の画像を脳波空間に変換し,近似を用いて再構成する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-10-25T10:26:07Z)
• A Knowledge-Driven Cross-view Contrastive Learning for EEG Representation [48.85731427874065]
  本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。 KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。 ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
  論文  参考訳（メタデータ） (2023-09-21T08:53:51Z)
• Decoding visual brain representations from electroencephalography through Knowledge Distillation and latent diffusion models [0.12289361708127873]
  本稿では,脳波(EEG)データを用いて,ImageNetデータセットから画像の分類と再構成を行う革新的な手法を提案する。 我々は6人の被験者の脳波記録を分析し、それぞれ40のユニークな意味カテゴリーにまたがる50の画像に暴露した。 我々は,事前学習した潜伏拡散モデルに基づく画像再構成機構を導入し,脳波を誘発した画像の推定を可能とした。
  論文  参考訳（メタデータ） (2023-09-08T09:13:50Z)
• Decoding Natural Images from EEG for Object Recognition [8.411976038504589]
  本稿では,脳波信号からの学習画像表現の実現可能性を示すための自己教師型フレームワークを提案する。 我々はトップ1の精度を15.6%、トップ5の精度を42.8%で達成し、200ウェイゼロショットタスクに挑戦する。 これらの発見は、実世界のシナリオにおける神経復号と脳-コンピュータインタフェースの貴重な洞察をもたらす。
  論文  参考訳（メタデータ） (2023-08-25T08:05:37Z)
• Controllable Mind Visual Diffusion Model [58.83896307930354]
  脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。 我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。 CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。 そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
  論文  参考訳（メタデータ） (2023-05-17T11:36:40Z)
• Multi-Domain Norm-referenced Encoding Enables Data Efficient Transfer Learning of Facial Expression Recognition [62.997667081978825]
  本稿では,表情認識における伝達学習のための生物学的メカニズムを提案する。 提案アーキテクチャでは,人間の脳が,頭部形状の異なる表情を自然に認識する方法について解説する。 本モデルでは, FERGデータセットの分類精度92.15%を極端に高いデータ効率で達成する。
  論文  参考訳（メタデータ） (2023-04-05T09:06:30Z)
• EEG-based Image Feature Extraction for Visual Classification using Deep Learning [0.0]
  深層学習モデルを用いた脳波のより微妙な理解を容易にするため,脳波信号を画像として効率的に符号化する方法を開発した。 脳波と組み合わせた画像分類法は,純粋な深層学習法に比べて精度が82%向上した。
  論文  参考訳（メタデータ） (2022-09-27T00:50:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。