論文の概要: EEG-CLIP : Learning EEG representations from natural language descriptions

• arxiv url: http://arxiv.org/abs/2503.16531v1
• Date: Tue, 18 Mar 2025 11:12:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:58:25.770540
• Title: EEG-CLIP : Learning EEG representations from natural language descriptions
• Title（参考訳）: EEG-CLIP : 自然言語記述からの脳波表現の学習
• Authors: Tidiane Camaret N'dir, Robin Tibor Schirrmeister,
• Abstract要約: 脳波復号のためのディープネットワークは、しばしば病理学やジェンダー復号のような特定のタスクのみを解決するために訓練される。 臨床脳波記録の医療報告を利用したより一般的なアプローチは、医療報告と脳波記録のマッピングを学ぶことである。 我々は,脳波時系列とそれに対応する臨床テキスト記述を共有埋め込み空間で整列する,対照的な学習フレームワークであるEEG-CLIPを開発した。
• 参考スコア（独自算出の注目度）: 1.03590082373586
• License:
• Abstract: Deep networks for electroencephalogram (EEG) decoding are currently often trained to only solve a specific task like pathology or gender decoding. A more general approach leveraging the medical reports of clinical EEG recordings is to learn mappings between medical reports and EEG recordings. This approach was pioneered in the computer vision domain matching images and their text captions and subsequently allowed to do successful zero-shot decoding using textual class prompts. In this work, we follow this approach and develop a contrastive learning framework EEG-CLIP that aligns EEG time series and their corresponding clinical text descriptions in a shared embedding space. We investigate its potential for versatile EEG decoding, assessing performance on a range of few-shot and zero-shot settings. Overall, results show that EEG-CLIP manages to nontrivially align text and EEG representations. Our work presents a promising approach to learn general EEG representations, which could enable easier analyses of diverse decoding questions through zero shot decoding or training task-specific models from fewer training examples. The code for reproducing our results is available at https://github.com/tidiane-camaret/EEGClip.
• Abstract（参考訳）: 脳波(EEG)デコーディングのためのディープネットワークは現在、病理学やジェンダーデコーディングのような特定のタスクのみを解決するために訓練されている。 臨床脳波記録の医療報告を利用したより一般的なアプローチは、医療報告と脳波記録のマッピングを学ぶことである。 このアプローチは、画像とそれらのテキストキャプションをマッチングするコンピュータビジョン領域において先駆けとなり、その後、テキストのクラスプロンプトを使ってゼロショットデコーディングを成功させることができた。 本研究は,脳波時系列とそれに対応する臨床テキスト記述を共有埋め込み空間に整合させるコントラスト学習フレームワークであるEEG-CLIPを開発した。 我々は,多目的脳波復号化の可能性について検討し,少数ショットおよびゼロショット設定での性能評価を行った。 その結果,EEG-CLIPはテキストとEEG表現を非自明に整列させることがわかった。 これにより、より少ないトレーニング例から、ゼロショットデコーディングやタスク固有モデルのトレーニングを通じて、多様なデコード質問を簡単に分析できる。 結果の再現コードはhttps://github.com/tidiane-camaret/EEGClip.comで公開されている。

関連論文リスト

• ECG-Byte: A Tokenizer for End-to-End Generative Electrocardiogram Language Modeling [20.484166589932702]
  ECG-Byteは、ECGの自動回帰言語モデリングのためのトークン化パイプラインである。 ECG信号をトークンに圧縮してエンコードし、エンドツーエンドの大規模言語モデルのトレーニングを可能にする。 NLGタスクの競合性能は,2段階のアプローチで要求されるデータの半分と48%に過ぎません。
  論文  参考訳（メタデータ） (2024-12-18T22:13:21Z)
• CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
  脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。 具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。 このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
  論文  参考訳（メタデータ） (2024-12-13T16:27:54Z)
• SEE: Semantically Aligned EEG-to-Text Translation [5.460650382586978]
  神経生理学的信号を言語に復号することは、脳-コンピュータインターフェース(BCI)の応用において非常に興味深い研究である。 現在のEEG-to-Textデコーディングアプローチは、EEGレコードと生テキストの間に大きなドメインギャップがあるため、課題に直面している。 本稿では,脳波からテキストへのデコードを改善するための新しい手法であるセマンティック・アラインドEEG-to-Text Translationを提案する。
  論文  参考訳（メタデータ） (2024-09-14T05:37:15Z)
• Towards Linguistic Neural Representation Learning and Sentence Retrieval from Electroencephalogram Recordings [27.418738450536047]
  脳波信号を文に変換するための2ステップパイプラインを提案する。 まず,自然読解中に記録された脳波データから単語レベルの意味情報を学習できることを確認する。 脳波エンコーダからの予測に基づいて文章を検索するために,学習不要な検索手法を用いる。
  論文  参考訳（メタデータ） (2024-08-08T03:40:25Z)
• Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder [69.7813498468116]
  コントラスト型脳波テキストマスケード自動エンコーダ(CET-MAE)を提案する。 また、E2T-PTR(Pretrained Transferable Representationsを用いたEEG-to-Text decoding)と呼ばれるフレームワークを開発し、EEGシーケンスからテキストをデコードする。
  論文  参考訳（メタデータ） (2024-02-27T11:45:21Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
  眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。 CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。 大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
  論文  参考訳（メタデータ） (2022-06-04T13:16:30Z)
• Rethinking Saliency Map: An Context-aware Perturbation Method to Explain EEG-based Deep Learning Model [7.693117960747748]
  我々は、脳波に基づくディープラーニングモデルを説明する既存の研究を要約するためにレビューを行う。 生の脳波信号の観点から,サリエンシマップを生成するための文脈認識手法を提案する。 また,脳波に基づく深層学習モデルの成果物を抑制するために,文脈情報を利用することを正当化する。
  論文  参考訳（メタデータ） (2022-05-30T10:25:20Z)
• Uncovering the structure of clinical EEG signals with self-supervised learning [64.4754948595556]
  教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。 この現象は脳波(EEG)などの臨床関連データに特に問題となる。 ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
  論文  参考訳（メタデータ） (2020-07-31T14:34:47Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。