論文の概要: EEG-CLIP : Learning EEG representations from natural language descriptions

• arxiv url: http://arxiv.org/abs/2503.16531v1
• Date: Tue, 18 Mar 2025 11:12:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 15:40:10.077395
• Title: EEG-CLIP : Learning EEG representations from natural language descriptions
• Title（参考訳）: EEG-CLIP : 自然言語記述からの脳波表現の学習
• Authors: Tidiane Camaret N'dir, Robin Tibor Schirrmeister,
• Abstract要約: 脳波復号のためのディープネットワークは、しばしば病理学やジェンダー復号のような特定のタスクのみを解決するために訓練される。 臨床脳波記録の医療報告を利用したより一般的なアプローチは、医療報告と脳波記録のマッピングを学ぶことである。 我々は,脳波時系列とそれに対応する臨床テキスト記述を共有埋め込み空間で整列する,対照的な学習フレームワークであるEEG-CLIPを開発した。
• 参考スコア（独自算出の注目度）: 1.03590082373586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep networks for electroencephalogram (EEG) decoding are currently often trained to only solve a specific task like pathology or gender decoding. A more general approach leveraging the medical reports of clinical EEG recordings is to learn mappings between medical reports and EEG recordings. This approach was pioneered in the computer vision domain matching images and their text captions and subsequently allowed to do successful zero-shot decoding using textual class prompts. In this work, we follow this approach and develop a contrastive learning framework EEG-CLIP that aligns EEG time series and their corresponding clinical text descriptions in a shared embedding space. We investigate its potential for versatile EEG decoding, assessing performance on a range of few-shot and zero-shot settings. Overall, results show that EEG-CLIP manages to nontrivially align text and EEG representations. Our work presents a promising approach to learn general EEG representations, which could enable easier analyses of diverse decoding questions through zero shot decoding or training task-specific models from fewer training examples. The code for reproducing our results is available at https://github.com/tidiane-camaret/EEGClip.
• Abstract（参考訳）: 脳波(EEG)デコーディングのためのディープネットワークは現在、病理学やジェンダーデコーディングのような特定のタスクのみを解決するために訓練されている。 臨床脳波記録の医療報告を利用したより一般的なアプローチは、医療報告と脳波記録のマッピングを学ぶことである。 このアプローチは、画像とそれらのテキストキャプションをマッチングするコンピュータビジョン領域において先駆けとなり、その後、テキストのクラスプロンプトを使ってゼロショットデコーディングを成功させることができた。 本研究は,脳波時系列とそれに対応する臨床テキスト記述を共有埋め込み空間に整合させるコントラスト学習フレームワークであるEEG-CLIPを開発した。 我々は,多目的脳波復号化の可能性について検討し,少数ショットおよびゼロショット設定での性能評価を行った。 その結果,EEG-CLIPはテキストとEEG表現を非自明に整列させることがわかった。 これにより、より少ないトレーニング例から、ゼロショットデコーディングやタスク固有モデルのトレーニングを通じて、多様なデコード質問を簡単に分析できる。 結果の再現コードはhttps://github.com/tidiane-camaret/EEGClip.comで公開されている。

関連論文リスト

• Learning Interpretable Representations Leads to Semantically Faithful EEG-to-Text Generation [52.51005875755718]
  我々は脳波からテキストへの復号に焦点をあて、後部崩壊のレンズを通して幻覚の問題に対処する。 脳波とテキスト間の情報容量のミスマッチを認め、デコードタスクをコア意味のセマンティックな要約として再設計する。 パブリックなZuCoデータセットの実験では、GLIMが一貫して、流動的なEEG基底文を生成することが示されている。
  論文  参考訳（メタデータ） (2025-05-21T05:29:55Z)
• ECG-Byte: A Tokenizer for End-to-End Generative Electrocardiogram Language Modeling [20.484166589932702]
  ECG-Byteは、ECGの自動回帰言語モデリングのためのトークン化パイプラインである。 ECG信号をトークンに圧縮してエンコードし、エンドツーエンドの大規模言語モデルのトレーニングを可能にする。 NLGタスクの競合性能は,2段階のアプローチで要求されるデータの半分と48%に過ぎません。
  論文  参考訳（メタデータ） (2024-12-18T22:13:21Z)
• CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
  脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。 具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。 このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
  論文  参考訳（メタデータ） (2024-12-13T16:27:54Z)
• Thought2Text: Text Generation from EEG Signal using Large Language Models (LLMs) [4.720913027054481]
  本稿では、この目的を達成するために、脳波データを微調整した命令調整大型言語モデル(LLM)を用いたThought2Textを提案する。 本手法は, 視覚的特徴抽出のための脳波エンコーダのトレーニング, 2) 画像およびテキストデータ上での微調整, マルチモーダル記述生成, (3) 脳波エンコーダのさらなる微調整により, 推論中に直接脳波からテキストを生成する。
  論文  参考訳（メタデータ） (2024-10-10T00:47:59Z)
• SEE: Semantically Aligned EEG-to-Text Translation [5.460650382586978]
  神経生理学的信号を言語に復号することは、脳-コンピュータインターフェース(BCI)の応用において非常に興味深い研究である。 現在のEEG-to-Textデコーディングアプローチは、EEGレコードと生テキストの間に大きなドメインギャップがあるため、課題に直面している。 本稿では,脳波からテキストへのデコードを改善するための新しい手法であるセマンティック・アラインドEEG-to-Text Translationを提案する。
  論文  参考訳（メタデータ） (2024-09-14T05:37:15Z)
• Decoder Pre-Training with only Text for Scene Text Recognition [54.93037783663204]
  シーンテキスト認識(STR)事前学習法は,主に合成データセットに依存し,顕著な進歩を遂げている。 STR(DPTR)用テキストのみを用いたDecoder Pre-trainingという新しい手法を提案する。 DPTRはCLIPテキストエンコーダが生成したテキスト埋め込みを擬似視覚埋め込みとして扱い、デコーダの事前訓練に使用する。
  論文  参考訳（メタデータ） (2024-08-11T06:36:42Z)
• Towards Linguistic Neural Representation Learning and Sentence Retrieval from Electroencephalogram Recordings [27.418738450536047]
  脳波信号を文に変換するための2ステップパイプラインを提案する。 まず,自然読解中に記録された脳波データから単語レベルの意味情報を学習できることを確認する。 脳波エンコーダからの予測に基づいて文章を検索するために,学習不要な検索手法を用いる。
  論文  参考訳（メタデータ） (2024-08-08T03:40:25Z)
• Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder [69.7813498468116]
  コントラスト型脳波テキストマスケード自動エンコーダ(CET-MAE)を提案する。 また、E2T-PTR(Pretrained Transferable Representationsを用いたEEG-to-Text decoding)と呼ばれるフレームワークを開発し、EEGシーケンスからテキストをデコードする。
  論文  参考訳（メタデータ） (2024-02-27T11:45:21Z)
• LLM-CXR: Instruction-Finetuned LLM for CXR Image Understanding and Generation [51.08810811457617]
  LLMにおける視覚言語アライメントは、マルチモーダル推論とビジュアルIOを可能にするために活発に研究されている。 医用画像の視覚言語能力を得るために,テキストのみにLLMを指導する手法を開発した。 このアプローチで訓練したLLM-CXRは,CXR理解タスクと生成タスクの両方において,より優れた画像テキストアライメントを示す。
  論文  参考訳（メタデータ） (2023-05-19T07:44:39Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
  眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。 CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。 大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
  論文  参考訳（メタデータ） (2022-06-04T13:16:30Z)
• Rethinking Saliency Map: An Context-aware Perturbation Method to Explain EEG-based Deep Learning Model [7.693117960747748]
  我々は、脳波に基づくディープラーニングモデルを説明する既存の研究を要約するためにレビューを行う。 生の脳波信号の観点から,サリエンシマップを生成するための文脈認識手法を提案する。 また,脳波に基づく深層学習モデルの成果物を抑制するために,文脈情報を利用することを正当化する。
  論文  参考訳（メタデータ） (2022-05-30T10:25:20Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Uncovering the structure of clinical EEG signals with self-supervised learning [64.4754948595556]
  教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。 この現象は脳波(EEG)などの臨床関連データに特に問題となる。 ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
  論文  参考訳（メタデータ） (2020-07-31T14:34:47Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。