Fugu-MT 論文翻訳(概要): An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text

論文の概要: An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text

arxiv url: http://arxiv.org/abs/2011.06504v1
Date: Thu, 12 Nov 2020 17:14:32 GMT
ステータス: 処理完了
システム内更新日: 2022-09-26 07:15:35.587698
Title: An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text
Title（参考訳）: 長期臨床テキストのための解釈可能なエンドツーエンドの微調整手法
Authors: Kexin Huang, Sankeerth Garapati, Alexander S. Rich
Abstract要約: EHRにおける非構造化臨床テキストには、意思決定支援、トライアルマッチング、振り返り研究を含むアプリケーションにとって重要な情報が含まれている。最近の研究は、これらのモデルが他のNLPドメインにおける最先端の性能を考慮し、BERTベースのモデルを臨床情報抽出およびテキスト分類に応用している。本稿では,SnipBERTという新しい微調整手法を提案する。SnipBERTは全音符を使用する代わりに,重要なスニペットを識別し,階層的に切り刻まれたBERTベースのモデルに供給する。
参考スコア（独自算出の注目度）: 72.62848911347466
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Unstructured clinical text in EHRs contains crucial information for applications including decision support, trial matching, and retrospective research. Recent work has applied BERT-based models to clinical information extraction and text classification, given these models' state-of-the-art performance in other NLP domains. However, BERT is difficult to apply to clinical notes because it doesn't scale well to long sequences of text. In this work, we propose a novel fine-tuning approach called SnipBERT. Instead of using entire notes, SnipBERT identifies crucial snippets and then feeds them into a truncated BERT-based model in a hierarchical manner. Empirically, SnipBERT not only has significant predictive performance gain across three tasks but also provides improved interpretability, as the model can identify key pieces of text that led to its prediction.
Abstract（参考訳）: EHRにおける非構造化臨床テキストには、意思決定支援、トライアルマッチング、振り返り研究を含むアプリケーションにとって重要な情報が含まれている。最近の研究は、これらのモデルが他のNLPドメインにおける最先端の性能を考慮し、BERTベースのモデルを臨床情報抽出およびテキスト分類に応用している。しかし,長いテキスト列に拡張できないため,臨床ノートに適用することは困難である。本研究では,SnipBERTと呼ばれる新しい微調整手法を提案する。ノート全体を使用する代わりに、SnipBERTは重要なスニペットを識別し、階層的な方法でTruncated BERTベースのモデルにフィードする。経験的に、SnipBERTは3つのタスクにまたがる大きな予測性能を持つだけでなく、その予測に繋がる重要なテキストを識別できるため、解釈可能性も向上している。

関連論文リスト

BLIAM: Literature-based Data Synthesis for Synergistic Drug Combination Prediction [13.361489059744754]
BLIAMは、下流アプリケーションに対して解釈可能で、モデルに依存しないトレーニングデータポイントを生成する。 BLIAMは、生体医学実験では測定されなかった新しい薬物や細胞株のデータポイントを合成するのにさらに用いられる。
論文参考訳（メタデータ） (2023-02-14T06:48:52Z)
HealthPrompt: A Zero-shot Learning Paradigm for Clinical Natural Language Processing [3.762895631262445]
われわれはHealthPromptという新しいプロンプトベースのNLPフレームワークを開発した。本研究は,6種類のPLMを用いたHealthPromptの詳細な分析を行った。本実験は,臨床テキストのコンテキストを効果的に把握し,トレーニングデータなしで極めて良好に動作できることを証明した。
論文参考訳（メタデータ） (2022-03-09T21:44:28Z)
Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
バイオメディカルNLPの微調整安定性に関する系統的研究を行った。我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2021-12-15T04:20:35Z)
Clinical Trial Information Extraction with BERT [0.0]
臨床試験テキストから情報抽出を行うためのCT-BERTというフレームワークを提案する。我々は、資格基準を抽出するために、名前付きエンティティ認識(NER)モデルを訓練した。臨床試験NLPにおけるCT-BERTの有用性について検討した。
論文参考訳（メタデータ） (2021-09-11T17:15:10Z)
Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。 BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
論文参考訳（メタデータ） (2021-09-10T12:13:45Z)
Fine-tuning Pretrained Language Models with Label Attention for Explainable Biomedical Text Classification [1.066048003460524]
PTMの微調整プロセスに意味ラベル記述を注入するための改良されたラベルアテンションに基づくアーキテクチャを開発した。 2つの公開医療データセットの結果、提案手法は従来の微調整PTMと先行技術モデルよりも優れていた。
論文参考訳（メタデータ） (2021-08-26T14:23:06Z)
Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks [4.955649816620742]
本稿では,BERT と ALBERT の文埋め込みモデルについて検討する。我々は、Sentence-BERT (SBERT) と呼ばれるシアムとトリプルトネットワーク構造を持つBERTネットワークを改良し、BERTをALBERTに置き換え、Sentence-ALBERT (SALBERT) を作成する。
論文参考訳（メタデータ） (2021-01-26T09:14:06Z)
Text Mining to Identify and Extract Novel Disease Treatments From Unstructured Datasets [56.38623317907416]
Google Cloudを使って、NPRラジオ番組のポッドキャストのエピソードを書き起こします。次に、テキストを体系的に前処理するためのパイプラインを構築します。我々のモデルは、Omeprazoleが心臓熱傷の治療に役立てることに成功しました。
論文参考訳（メタデータ） (2020-10-22T19:52:49Z)
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文参考訳（メタデータ） (2020-07-31T00:04:15Z)
Students Need More Attention: BERT-based AttentionModel for Small Data with Application to AutomaticPatient Message Triage [65.7062363323781]
BioBERT (Bidirectional Representations from Transformers for Biomedical Text Mining) に基づく新しいフレームワークを提案する。 LESA-BERTと呼ぶBERTの各層にラベル埋め込みを導入し、(ii)LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指す。アプリケーションとして,本フレームワークを用いて,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度,緊急度という3つのカテゴリに分類する。
論文参考訳（メタデータ） (2020-06-22T03:39:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。