論文の概要: BioBridge: Unified Bio-Embedding with Bridging Modality in Code-Switched EMR
- arxiv url: http://arxiv.org/abs/2412.11671v1
- Date: Mon, 16 Dec 2024 11:24:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 14:01:36.232108
- Title: BioBridge: Unified Bio-Embedding with Bridging Modality in Code-Switched EMR
- Title（参考訳）: BioBridge: コードスイッチEMRにおけるブリッジモダリティを備えた統一バイオ埋め込み
- Authors: Jangyeong Jeon, Sangyeon Cho, Dongjoon Lee, Changhee Lee, Junyeong Kim,
- Abstract要約: 本稿では,自然言語処理(NLP)を電子カルテ(EMR)にフリーテキスト形式で適用する手法であるBioBridgeフレームワークを紹介する。
韓国などの非英語圏では、EMRデータは、ネイティブ言語と英語を混ぜ合わせたコードスイッチング(Code-Switching, CS)形式で書かれることが多い。
BioBridgeフレームワークは、"bridging modality in context"と"unified bio-embedding"の2つのコアモジュールで構成されている。
- 参考スコア（独自算出の注目度）: 8.328673243329794
- License:
- Abstract: Pediatric Emergency Department (PED) overcrowding presents a significant global challenge, prompting the need for efficient solutions. This paper introduces the BioBridge framework, a novel approach that applies Natural Language Processing (NLP) to Electronic Medical Records (EMRs) in written free-text form to enhance decision-making in PED. In non-English speaking countries, such as South Korea, EMR data is often written in a Code-Switching (CS) format that mixes the native language with English, with most code-switched English words having clinical significance. The BioBridge framework consists of two core modules: "bridging modality in context" and "unified bio-embedding." The "bridging modality in context" module improves the contextual understanding of bilingual and code-switched EMRs. In the "unified bio-embedding" module, the knowledge of the model trained in the medical domain is injected into the encoder-based model to bridge the gap between the medical and general domains. Experimental results demonstrate that the proposed BioBridge significantly performance traditional machine learning and pre-trained encoder-based models on several metrics, including F1 score, area under the receiver operating characteristic curve (AUROC), area under the precision-recall curve (AUPRC), and Brier score. Specifically, BioBridge-XLM achieved enhancements of 0.85% in F1 score, 0.75% in AUROC, and 0.76% in AUPRC, along with a notable 3.04% decrease in the Brier score, demonstrating marked improvements in accuracy, reliability, and prediction calibration over the baseline XLM model. The source code will be made publicly available.
- Abstract（参考訳）: 小児救急部(PED)の混雑は、効率的なソリューションの必要性を喚起する重要な世界的な課題である。
本稿では,電子カルテ(EMR)に自然言語処理(NLP)を適用した新しい手法であるBioBridgeフレームワークを紹介する。
韓国などの非英語圏では、EMRデータは、ネイティブ言語と英語を混ぜ合わせたコードスイッチング(Code-Switching, CS)形式で書かれることが多い。
BioBridgeフレームワークは、"bridging modality in context"と"unified bio-embedding"の2つのコアモジュールで構成されている。
モジュールは、バイリンガルとコードスイッチングされたEMRの文脈的理解を改善する。
統一バイオ埋め込み」モジュールでは、医療領域で訓練されたモデルの知識がエンコーダベースモデルに注入され、医療領域と一般ドメインのギャップを埋める。
実験結果から,提案したBioBridgeは,F1スコア,受信動作特性曲線(AUROC)領域,高精度リコール曲線(AUPRC)領域,Brierスコアなど,従来の機械学習モデルと事前学習エンコーダベースモデルにおいて,有意に性能が向上した。
具体的には、BioBridge-XLMはF1スコアが0.85%、AUROCが0.75%、AUPRCが0.76%、Brierスコアが3.04%減少し、ベースラインXLMモデルよりも精度、信頼性、予測キャリブレーションが著しく改善された。
ソースコードは一般公開される予定だ。
関連論文リスト
- Multi-level biomedical NER through multi-granularity embeddings and
enhanced labeling [3.8599767910528917]
本稿では,複数のモデルの強みを統合するハイブリッドアプローチを提案する。
BERTは、文脈化された単語の埋め込み、文字レベルの情報キャプチャのための事前訓練されたマルチチャネルCNN、およびテキスト内の単語間の依存関係のシーケンスラベリングとモデル化のためのBiLSTM + CRFを提供する。
我々は、ベンチマークi2b2/2010データセットを用いて、F1スコア90.11を達成する。
論文 参考訳（メタデータ） (2023-12-24T21:45:36Z) - Diversifying Knowledge Enhancement of Biomedical Language Models using
Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。
バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。
計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文 参考訳（メタデータ） (2023-12-21T14:26:57Z) - Deep Representation Learning for Open Vocabulary
Electroencephalography-to-Text Decoding [6.014363449216054]
神経科学に現代的な表現型学習アプローチをもたらす非侵襲的な脳記録のためのエンドツーエンドのディープラーニングフレームワークを提案する。
BLEU-1スコアは42.75%,ROUGE-1-F33.28%,BERTScore-F53.86%で,それぞれ3.38%,8.43%,6.31%であった。
論文 参考訳（メタデータ） (2023-11-15T08:03:09Z) - Investigating Large Language Models and Control Mechanisms to Improve Text Readability of Biomedical Abstracts [16.05119302860606]
本稿では,生物医学的抽象的単純化作業における最先端の大規模言語モデル(LLM)の能力について検討する。
適用方法はドメインファインチューニングとプロンプトベースラーニング(PBL)である。
BLEU,ROUGE,SARI,BERTscoreなど,さまざまな自動評価指標を用い,人的評価を行った。
論文 参考訳（メタデータ） (2023-09-22T22:47:32Z) - BELT:Bootstrapping Electroencephalography-to-Language Decoding and
Zero-Shot Sentiment Classification by Natural Language Supervision [31.382825932199935]
提案手法は,脳波表現学習をブートストラップする汎用的で効率的なフレームワークである。
意味情報とゼロショットの一般化を理解するための大きなLM能力により、BELTはインターネットスケールのデータセットで訓練された大規模なLMを使用する。
脳から言語への翻訳やゼロショット感情分類を含む2つの特徴ある脳復号タスクについて、最先端の成果を得た。
論文 参考訳（メタデータ） (2023-09-21T13:24:01Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z) - Confidence Based Bidirectional Global Context Aware Training Framework
for Neural Machine Translation [74.99653288574892]
我々は、ニューラルネットワーク翻訳(NMT)のための信頼に基づく双方向グローバルコンテキスト認識(CBBGCA)トレーニングフレームワークを提案する。
提案したCBBGCAトレーニングフレームワークは,3つの大規模翻訳データセットにおいて,NMTモデルを+1.02,+1.30,+0.57 BLEUスコアで大幅に改善する。
論文 参考訳（メタデータ） (2022-02-28T10:24:22Z) - CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
中国初のバイオメディカル言語理解評価ベンチマークを提示する。
名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。
本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
論文 参考訳（メタデータ） (2021-06-15T12:25:30Z) - Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。
AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。
実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文 参考訳（メタデータ） (2020-10-15T18:34:13Z) - Performance of Dual-Augmented Lagrangian Method and Common Spatial
Patterns applied in classification of Motor-Imagery BCI [68.8204255655161]
運動画像に基づく脳-コンピュータインタフェース(MI-BCI)は、神経リハビリテーションのための画期的な技術になる可能性がある。
使用する脳波信号のノイズの性質のため、信頼性の高いBCIシステムは特徴の最適化と抽出のために特別な手順を必要とする。
論文 参考訳（メタデータ） (2020-10-13T20:50:13Z) - CBAG: Conditional Biomedical Abstract Generation [1.2633386045916442]
浅層エンコーダ"条件"スタックと,マルチヘッドアテンションブロックの深層"言語モデル"スタックを備えたトランスフォーマーベースの条件言語モデルを提案する。
提案したタイトル,意図した出版年,キーワードのセットのみをバイオメディカルな要約として生成する。
論文 参考訳（メタデータ） (2020-02-13T17:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。