Fugu-MT 論文翻訳(概要): EEG-Language Modeling for Pathology Detection

論文の概要: EEG-Language Modeling for Pathology Detection

arxiv url: http://arxiv.org/abs/2409.07480v1
Date: Mon, 2 Sep 2024 10:03:03 GMT
ステータス: 処理完了
システム内更新日: 2024-09-15 05:01:16.815381
Title: EEG-Language Modeling for Pathology Detection
Title（参考訳）: 病理診断のための脳波言語モデル
Authors: Sam Gijsen, Kerstin Ritter,
Abstract要約: 本研究は臨床報告に基づく脳波モデルの先駆者であり,脳波は15,000である。以上の結果から,よりリッチな表現をさまざまなレポートセグメントに公開することで,モデルが学習できることが示唆された。 EEG言語モデルの表現は、脳波のみのモデルと比較して、病理診断を大幅に改善することができる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multimodal language modeling constitutes a recent breakthrough which leverages advances in large language models to pretrain capable multimodal models. The integration of natural language during pretraining has been shown to significantly improve learned representations, particularly in computer vision. However, the efficacy of multimodal language modeling in the realm of functional brain data, specifically for advancing pathology detection, remains unexplored. This study pioneers EEG-language models trained on clinical reports and 15000 EEGs. We extend methods for multimodal alignment to this novel domain and investigate which textual information in reports is useful for training EEG-language models. Our results indicate that models learn richer representations from being exposed to a variety of report segments, including the patient's clinical history, description of the EEG, and the physician's interpretation. Compared to models exposed to narrower clinical text information, we find such models to retrieve EEGs based on clinical reports (and vice versa) with substantially higher accuracy. Yet, this is only observed when using a contrastive learning approach. Particularly in regimes with few annotations, we observe that representations of EEG-language models can significantly improve pathology detection compared to those of EEG-only models, as demonstrated by both zero-shot classification and linear probes. In sum, these results highlight the potential of integrating brain activity data with clinical text, suggesting that EEG-language models represent significant progress for clinical applications.
Abstract（参考訳）: マルチモーダル言語モデリングは、大規模言語モデルの進歩を活用して、有能なマルチモーダルモデルを事前訓練する最近のブレークスルーを構成する。事前学習中の自然言語の統合は、特にコンピュータビジョンにおいて、学習された表現を大幅に改善することが示されている。しかし、機能的脳データ領域における多モーダル言語モデリングの有効性、特に病理診断の進歩は未解明のままである。本研究は臨床報告に基づく脳波モデルの先駆者であり,脳波は15,000である。我々は,この新たな領域にマルチモーダルアライメントを行う手法を拡張し,脳波言語モデルのトレーニングに有用なレポート中のテキスト情報について検討する。以上の結果から,患者の臨床経過,脳波の描写,医師の解釈など,さまざまな報告セグメントに曝露されることから,モデルがより豊かな表現を学習できることが示唆された。より狭い臨床テキスト情報に曝露されたモデルと比較して,臨床報告に基づいて脳波を検索するモデルが(その逆も)極めて高い精度で見つかる。しかし、これは対照的な学習アプローチを使用する場合にのみ観察される。特にアノテーションの少ないレギュレーションでは、ゼロショット分類と線形プローブの両方で示されるように、脳波言語モデルの表現は、脳波のみのモデルと比較して、病理診断を大幅に改善することができる。これらの結果は,脳活動データと臨床テキストの統合の可能性を強調し,脳波言語モデルが臨床応用の大きな進展を示すことを示唆している。

関連論文リスト

FoME: A Foundation Model for EEG using Adaptive Temporal-Lateral Attention Scaling [19.85701025524892]
FoME (Foundation Model for EEG) は適応的側方アテンションスケーリングを用いた新しいアプローチである。 FoMEは1.7TBの頭皮と頭蓋内脳波記録のデータセットで事前訓練されており、1,096kのステップで745Mのパラメータが訓練されている。
論文参考訳（メタデータ） (2024-09-19T04:22:40Z)
ShapeMamba-EM: Fine-Tuning Foundation Model with Local Shape Descriptors and Mamba Blocks for 3D EM Image Segmentation [49.42525661521625]
本稿では3次元EMセグメンテーションのための特殊微調整法であるShapeMamba-EMを提案する。 5つのセグメンテーションタスクと10のデータセットをカバーする、幅広いEMイメージでテストされている。
論文参考訳（メタデータ） (2024-08-26T08:59:22Z)
Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
論文参考訳（メタデータ） (2024-07-08T09:08:42Z)
Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文参考訳（メタデータ） (2024-03-12T18:12:02Z)
CephGPT-4: An Interactive Multimodal Cephalometric Measurement and Diagnostic System with Visual Large Language Model [4.64641334287597]
CephGPT-4モデルは優れた性能を示し、矯正的測定と診断の応用に革命をもたらす可能性がある。これらの革新は矯正学の分野で革命的応用の可能性を持っている。
論文参考訳（メタデータ） (2023-07-01T15:41:12Z)
A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics [63.106382317917344]
本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
論文参考訳（メタデータ） (2023-06-01T16:23:47Z)
fMRI from EEG is only Deep Learning away: the use of interpretable DL to unravel EEG-fMRI relationships [68.8204255655161]
多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
論文参考訳（メタデータ） (2022-10-23T15:11:37Z)
Interpretable and synergistic deep learning for visual explanation and statistical estimations of segmentation of disease features from medical images [0.0]
医学画像からの病因分類やセグメンテーションのための深層学習(DL)モデルは、無関係な自然界画像からの伝達学習(TL)を用いて、ますます訓練されている。 TL後バイナリセグメンテーションに広く用いられているDLアーキテクチャの比較,厳密な統計的解析,および比較について報告する。 TIIおよびLMIモデル、コード、10,000以上の医療画像の無料GitHubリポジトリと、この研究からのGrad-CAM出力は、高度な計算医学の出発点として利用できる。
論文参考訳（メタデータ） (2020-11-11T14:08:17Z)
Correlation based Multi-phasal models for improved imagined speech EEG recognition [22.196642357767338]
本研究の目的は,特定の音声単位に対応する音声の動きを,話し,想像,実行しながら記録された多相脳波データに含まれる並列情報から利益を得ることである。ニューラルネットワークを用いた二相共通表現学習モジュールは、解析フェーズと支援フェーズ間の相関をモデル化する。提案手法は復号化時の多相データの非可利用性をさらに扱う。
論文参考訳（メタデータ） (2020-11-04T09:39:53Z)
A Novel Transferability Attention Neural Network Model for EEG Emotion Recognition [51.203579838210885]
脳波感情認識のための伝達型注目ニューラルネットワーク(TANN)を提案する。 TANNは、伝達可能な脳波領域のデータとサンプルを適応的に強調することにより、感情的な識別情報を学習する。これは、複数の脳領域レベル判別器と1つのサンプルレベル判別器の出力を測定することで実現できる。
論文参考訳（メタデータ） (2020-09-21T02:42:30Z)
sEMG Gesture Recognition with a Simple Model of Attention [0.0]
表面筋電図(sEMG)信号の分類について述べる。新たなアテンションベースモデルにより,複数の業界標準データセットのベンチマーク結果が得られた。この結果から,sEMGは将来の機械学習研究の道のりとして有望であることが示唆された。
論文参考訳（メタデータ） (2020-06-05T19:28:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。