論文の概要: An Eye on Clinical BERT: Investigating Language Model Generalization for Diabetic Eye Disease Phenotyping

• arxiv url: http://arxiv.org/abs/2311.08687v1
• Date: Wed, 15 Nov 2023 04:30:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 17:11:05.638928
• Title: An Eye on Clinical BERT: Investigating Language Model Generalization for Diabetic Eye Disease Phenotyping
• Title（参考訳）: 臨床用BERT : 糖尿病性眼疾患診断のための言語モデル一般化の検討
• Authors: Keith Harrigian, Tina Tang, Anthony Gonzales, Cindy X. Cai, Mark Dredze
• Abstract要約: 糖尿病性眼疾患は、世界中の視覚障害の主要な原因である。 これらの目標を支援するために必要な情報の多くは、電子カルテのフリーテキストでのみ見られる。 糖尿病性眼疾患に関する19の臨床的概念の臨床的テキストからエビデンスを抽出するシステムを提案する。
• 参考スコア（独自算出の注目度）: 12.980631940987928
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Diabetic eye disease is a major cause of blindness worldwide. The ability to monitor relevant clinical trajectories and detect lapses in care is critical to managing the disease and preventing blindness. Alas, much of the information necessary to support these goals is found only in the free text of the electronic medical record. To fill this information gap, we introduce a system for extracting evidence from clinical text of 19 clinical concepts related to diabetic eye disease and inferring relevant attributes for each. In developing this ophthalmology phenotyping system, we are also afforded a unique opportunity to evaluate the effectiveness of clinical language models at adapting to new clinical domains. Across multiple training paradigms, we find that BERT language models pretrained on out-of-distribution clinical data offer no significant improvement over BERT language models pretrained on non-clinical data for our domain. Our study tempers recent claims that language models pretrained on clinical data are necessary for clinical NLP tasks and highlights the importance of not treating clinical language data as a single homogeneous domain.
• Abstract（参考訳）: 糖尿病性眼疾患は世界中の盲目の主な原因である。 関連する臨床経過をモニターし、ケアの経過を検知する能力は、疾患の管理と盲目予防に不可欠である。 残念ながら、これらの目標をサポートするために必要な情報の多くは、電子カルテの無料テキストにのみ見出される。 この情報ギャップを埋めるために,糖尿病性眼疾患に関連する19の臨床概念の臨床テキストからエビデンスを抽出し,関連する属性を推測するシステムを提案する。 この眼科フェノタイピングシステムの開発において、新しい臨床領域に適応するための臨床言語モデルの有効性を評価するためのユニークな機会も与えられている。 複数の訓練パラダイムにおいて,臨床データに事前学習したBERT言語モデルは,我々の領域の非臨床データに事前学習したBERT言語モデルよりも有意な改善は得られない。 本研究は, 臨床NLPタスクにおいて, 臨床データに事前学習した言語モデルは必須であると主張し, 臨床言語データを一様領域として扱わないことの重要性を強調した。

関連論文リスト

• Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
  特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。 本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2024-07-08T09:08:42Z)
• Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
  VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。 VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。 本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:19:28Z)
• ClinicalMamba: A Generative Clinical Language Model on Longitudinal Clinical Notes [6.921652448124103]
  本研究は,マンバ語モデルの特殊版であるクリニカルマンバについて概説する。 1億3000万のパラメータと280億のパラメータを持つクリニカルマンバは、テキストの長さを延ばす臨床言語をモデル化する上で優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-03-09T04:58:25Z)
• Language Model Training Paradigms for Clinical Feature Embeddings [1.4513150969598638]
  言語モデルのための自己教師型トレーニングパラダイムを用いて,高品質な臨床機能埋め込みを学習する。 教師なし次元縮小技術を用いて学習者の埋め込みを可視化し,先行臨床知識と高度に整合性を観察する。
  論文  参考訳（メタデータ） (2023-11-01T18:23:12Z)
• ClinicalGPT: Large Language Models Finetuned with Diverse Medical Data and Comprehensive Evaluation [5.690250818139763]
  大規模言語モデルは、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 これらの進歩にもかかわらず、実際の不正確さ、推論能力、現実世界の経験の基盤の欠如など、医学的応用におけるその効果は限られている。 臨床シナリオに対して明示的に設計・最適化された言語モデルである臨床GPTを提案する。
  論文  参考訳（メタデータ） (2023-06-16T16:56:32Z)
• A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics [63.106382317917344]
  本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。 統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
  論文  参考訳（メタデータ） (2023-06-01T16:23:47Z)
• sEHR-CE: Language modelling of structured EHR data for efficient and generalizable patient cohort expansion [0.0]
  sEHR-CEは、異種臨床データセットの統合表現型化と分析を可能にするトランスフォーマーに基づく新しいフレームワークである。 大規模研究である英国バイオバンクのプライマリ・セカンダリ・ケアデータを用いてアプローチを検証する。
  論文  参考訳（メタデータ） (2022-11-30T16:00:43Z)
• Cross-Lingual Knowledge Transfer for Clinical Phenotyping [55.92262310716537]
  本稿では,英語を使わないクリニックに対して,このタスクを実行するための言語間知識伝達戦略について検討する。 ギリシャ語とスペイン語のクリニックに対して,異なる臨床領域のクリニカルノートを活用して,これらの戦略を評価する。 以上の結果から,多言語データを用いることで,臨床表現型モデルが改善され,データの疎度を補うことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-08-03T08:33:21Z)
• Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
  眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。 CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。 大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
  論文  参考訳（メタデータ） (2022-06-04T13:16:30Z)
• Neural Language Models with Distant Supervision to Identify Major Depressive Disorder from Clinical Notes [2.1060613825447407]
  大うつ病 (Major depressive disorder, MDD) は、世界中で深刻な医療負担を伴う精神疾患である。 近年、Bidirectional Representations for Transformers (BERT) モデルなどのニューラルネットワークモデルが進歩し、最先端のニューラルネットワークモデルが生まれた。 臨床ノートからMDD表現型を同定するために,遠隔監視パラダイムでニューラルネットワークモデルを活用することを提案する。
  論文  参考訳（メタデータ） (2021-04-19T21:11:41Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。