論文の概要: A Multi-View Joint Learning Framework for Embedding Clinical Codes and
Text Using Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2301.11608v1
- Date: Fri, 27 Jan 2023 09:19:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-30 16:05:32.816399
- Title: A Multi-View Joint Learning Framework for Embedding Clinical Codes and
Text Using Graph Neural Networks
- Title（参考訳）: グラフニューラルネットワークを用いた臨床コードとテキスト埋め込みのための多視点共同学習フレームワーク
- Authors: Lecheng Kong, Christopher King, Bradley Fritz, Yixin Chen
- Abstract要約: 我々は,テキストの可用性と前方性,およびICDコードの性能向上を両立させるため,コードとテキストから学習するフレームワークを提案する。
我々のアプローチでは、ICDコードを処理するグラフニューラルネットワーク(GNN)と、テキストを処理するBi-LSTMを用いています。
計画された外科手術用テキストを用いた実験では,BERTモデルが臨床データに微調整されたモデルよりも優れていた。
- 参考スコア（独自算出の注目度）: 23.06795121693656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning to represent free text is a core task in many clinical machine
learning (ML) applications, as clinical text contains observations and plans
not otherwise available for inference. State-of-the-art methods use large
language models developed with immense computational resources and training
data; however, applying these models is challenging because of the highly
varying syntax and vocabulary in clinical free text. Structured information
such as International Classification of Disease (ICD) codes often succinctly
abstracts the most important facts of a clinical encounter and yields good
performance, but is often not as available as clinical text in real-world
scenarios. We propose a \textbf{multi-view learning framework} that jointly
learns from codes and text to combine the availability and forward-looking
nature of text and better performance of ICD codes. The learned text embeddings
can be used as inputs to predictive algorithms independent of the ICD codes
during inference. Our approach uses a Graph Neural Network (GNN) to process ICD
codes, and Bi-LSTM to process text. We apply Deep Canonical Correlation
Analysis (DCCA) to enforce the two views to learn a similar representation of
each patient. In experiments using planned surgical procedure text, our model
outperforms BERT models fine-tuned to clinical data, and in experiments using
diverse text in MIMIC-III, our model is competitive to a fine-tuned BERT at a
tiny fraction of its computational effort.
- Abstract（参考訳）: フリーテキストを表現することの学習は、多くの臨床機械学習(ML)アプリケーションにおいて中核的なタスクである。
最先端の手法は膨大な計算資源とトレーニングデータで開発された大規模言語モデルを用いるが、臨床用フリーテキストの構文や語彙が多種多様であるため、これらのモデルの適用は困難である。
国際疾病分類(icd)コードのような構造化情報は、しばしば臨床的遭遇の最も重要な事実を簡潔に抽象化し、良好なパフォーマンスをもたらすが、現実のシナリオでは臨床テキストほど利用できないことが多い。
本稿では,テキストの可利用性と前方に見える性質とicd符号の性能向上を組み合わせるために,コードとテキストから共同で学習する \textbf{multi-view learning framework} を提案する。
学習されたテキスト埋め込みは、推論中にICDコードに依存しない予測アルゴリズムの入力として使用できる。
我々のアプローチでは、ICDコードを処理するグラフニューラルネットワーク(GNN)と、テキストを処理するBi-LSTMを用いています。
本研究は,Deep Canonical correlation Analysis (DCCA) を用いて2つの視点を強制し,各患者の類似した表現を学習する。
計画された手術用テキストを用いた実験では,BERTモデルを臨床データに微調整し,MIMIC-IIIにおける多彩なテキストを用いた実験では,計算作業のごく一部で細調整されたBERTと競合する。
関連論文リスト
- SNOBERT: A Benchmark for clinical notes entity linking in the SNOMED CT clinical terminology [43.89160296332471]
本稿では,BERT モデルを用いた SNOMED CT のテキストスパンと特定の概念をリンクする手法を提案する。
本手法は, 候補選択と候補マッチングの2段階からなる。これらのモデルは, ラベル付き臨床ノートの公開データセットの中で, 最大規模で訓練された。
論文 参考訳（メタデータ） (2024-05-25T08:00:44Z) - CoRelation: Boosting Automatic ICD Coding Through Contextualized Code
Relation Learning [56.782963838838036]
我々は,ICDコード表現の学習を促進するために,文脈的かつ柔軟なフレームワークである新しい手法を提案する。
提案手法では,可能なすべてのコード関係をモデル化する際の臨床ノートのコンテキストを考慮した,依存型学習パラダイムを採用している。
論文 参考訳（メタデータ） (2024-02-24T03:25:28Z) - Preserving the knowledge of long clinical texts using aggregated
ensembles of large language models [0.0]
臨床テキストには、様々な臨床結果予測タスクに使用できる、豊富で価値のある情報が含まれている。
BERTベースのモデルのような大きな言語モデルを臨床テキストに適用することは、2つの大きな課題をもたらす。
本稿では,大規模言語モデルの集合アンサンブルを用いて,長期臨床テキストの知識を保存するための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-02T19:50:02Z) - Knowledge-Infused Prompting: Assessing and Advancing Clinical Text Data
Generation with Large Language Models [48.07083163501746]
臨床自然言語処理には、ドメイン固有の課題に対処できる方法が必要である。
我々は,そのプロセスに知識を注入する,革新的で資源効率のよいアプローチであるClinGenを提案する。
7つのNLPタスクと16のデータセットを比較検討した結果,ClinGenはさまざまなタスクのパフォーマンスを継続的に向上させることがわかった。
論文 参考訳（メタデータ） (2023-11-01T04:37:28Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:20:00Z) - Development and validation of a natural language processing algorithm to
pseudonymize documents in the context of a clinical data warehouse [53.797797404164946]
この研究は、この領域でツールやリソースを共有する際に直面する困難を浮き彫りにしている。
臨床文献のコーパスを12種類に分類した。
私たちは、ディープラーニングモデルと手動ルールの結果をマージして、ハイブリッドシステムを構築します。
論文 参考訳（メタデータ） (2023-03-23T17:17:46Z) - ICDBigBird: A Contextual Embedding Model for ICD Code Classification [71.58299917476195]
文脈単語埋め込みモデルは、複数のNLPタスクにおいて最先端の結果を得た。
ICDBigBirdは、Graph Convolutional Network(GCN)を統合するBigBirdベースのモデルである。
ICD分類作業におけるBigBirdモデルの有効性を実世界の臨床データセットで実証した。
論文 参考訳（メタデータ） (2022-04-21T20:59:56Z) - HealthPrompt: A Zero-shot Learning Paradigm for Clinical Natural
Language Processing [3.762895631262445]
われわれはHealthPromptという新しいプロンプトベースのNLPフレームワークを開発した。
本研究は,6種類のPLMを用いたHealthPromptの詳細な分析を行った。
本実験は,臨床テキストのコンテキストを効果的に把握し,トレーニングデータなしで極めて良好に動作できることを証明した。
論文 参考訳（メタデータ） (2022-03-09T21:44:28Z) - A Meta-embedding-based Ensemble Approach for ICD Coding Prediction [64.42386426730695]
国際疾病分類 (icd) は、世界中で臨床コーディングに使われているデファクトコードである。
これらのコードにより、医療提供者は償還を請求し、診断情報の効率的な保管と検索を容易にします。
提案手法は,日常的な医学データと科学論文の外部知識を用いて,効果的に単語ベクトルを訓練することにより,神経モデルの性能を高める。
論文 参考訳（メタデータ） (2021-02-26T17:49:58Z) - Dilated Convolutional Attention Network for Medical Code Assignment from
Clinical Text [19.701824507057623]
本稿では,拡張畳み込み,残差接続,ラベルアテンションを統合した拡張畳み込み注意ネットワーク(DCAN)を提案する。
拡張畳み込み(Dilated convolutions)を用いて、拡張サイズとともに指数関数的に増加する受容野で複雑な医療パターンをキャプチャする。
論文 参考訳（メタデータ） (2020-09-30T11:55:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。