論文の概要: Generalized and Transferable Patient Language Representation for
Phenotyping with Limited Data
- arxiv url: http://arxiv.org/abs/2103.00482v1
- Date: Wed, 24 Feb 2021 18:18:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-05 00:51:56.268347
- Title: Generalized and Transferable Patient Language Representation for
Phenotyping with Limited Data
- Title(参考訳): 限定データを用いた表現型表現のための一般化・転送可能な患者言語表現
- Authors: Yuqi Si, Elmer V Bernstam, Kirk Roberts
- Abstract要約: 医学的言語から一般化および移転可能な患者表現を学習するためのマルチタスクプリトレーニングおよび微調整アプローチを提案する。
プレトレーニングによる表現を検証し,低頻度表現型を用いたマルチタスク事前学習モデルの微調整を行う。
- 参考スコア(独自算出の注目度): 5.767430988202727
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The paradigm of representation learning through transfer learning has the
potential to greatly enhance clinical natural language processing. In this
work, we propose a multi-task pre-training and fine-tuning approach for
learning generalized and transferable patient representations from medical
language. The model is first pre-trained with different but related
high-prevalence phenotypes and further fine-tuned on downstream target tasks.
Our main contribution focuses on the impact this technique can have on
low-prevalence phenotypes, a challenging task due to the dearth of data. We
validate the representation from pre-training, and fine-tune the multi-task
pre-trained models on low-prevalence phenotypes including 38 circulatory
diseases, 23 respiratory diseases, and 17 genitourinary diseases. We find
multi-task pre-training increases learning efficiency and achieves consistently
high performance across the majority of phenotypes. Most important, the
multi-task pre-training is almost always either the best-performing model or
performs tolerably close to the best-performing model, a property we refer to
as robust. All these results lead us to conclude that this multi-task transfer
learning architecture is a robust approach for developing generalized and
transferable patient language representations for numerous phenotypes.
- Abstract(参考訳): 伝達学習による表現学習のパラダイムは、臨床自然言語処理を大幅に強化する可能性がある。
本稿では,医療言語から一般化した患者表現を学習するためのマルチタスク事前学習と微調整手法を提案する。
モデルはまず、異なるが関連する高頻度表現型で事前訓練され、下流ターゲットタスクでさらに微調整される。
当社の主な貢献は、このテクニックが低プレバレンス表現型に与える影響に焦点をあてています。
本研究は,38例の循環器疾患,23例の呼吸器疾患,17例の生殖器疾患を含む,低頻度の表現型に関するマルチタスク事前訓練モデルの表現性を検証する。
マルチタスク事前学習は学習効率を向上し,表現型の大部分で一貫して高い性能を達成する。
最も重要なのは、マルチタスク事前学習は、ほぼ常に最高のパフォーマンスモデルであるか、最も優れたパフォーマンスモデルに近いパフォーマンスを実現していることです。
これらの結果から,このマルチタスク・トランスファー学習アーキテクチャは,多くの表現型に対して汎用的かつ伝達可能な患者言語表現を開発するための堅牢なアプローチである,という結論に至った。
関連論文リスト
- Multi-Modal Perceiver Language Model for Outcome Prediction in Emergency
Department [0.03088120935391119]
主訴のテキスト情報とトリアージで記録されたバイタルサインに基づいて, 病院救急部門における結果予測と患者トリアージに関心がある。
我々は、いくつかのアプリケーションで有望な結果を示すモダリティに依存しないトランスフォーマーベースのモデルであるPerceiverを適応する。
実験では,テキストやバイタルサインのみを訓練したモデルと比較して,変異モダリティが予測性能を向上させることを示した。
論文 参考訳(メタデータ) (2023-04-03T06:32:00Z) - PheME: A deep ensemble framework for improving phenotype prediction from
multi-modal data [42.56953523499849]
PheMEは, 構造化EHRのマルチモーダルデータを用いたアンサンブル・フレームワークであり, 非構造化臨床ノートを用いて, 正確なフェノタイプ予測を行う。
我々はアンサンブル学習を活用し、単一モーダルモデルと多モーダルモデルからの出力を組み合わせて表現型予測を改善する。
論文 参考訳(メタデータ) (2023-03-19T23:41:04Z) - The Trade-off between Universality and Label Efficiency of
Representations from Contrastive Learning [32.15608637930748]
2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。
我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
論文 参考訳(メタデータ) (2023-02-28T22:14:33Z) - Prototype-guided Cross-task Knowledge Distillation for Large-scale
Models [103.04711721343278]
クロスタスクの知識蒸留は、競争力のあるパフォーマンスを得るために小さな学生モデルを訓練するのに役立ちます。
本稿では,大規模教師ネットワークの内在的ローカルレベルのオブジェクト知識を様々なタスクシナリオに転送するための,プロトタイプ誘導型クロスタスク知識蒸留(ProC-KD)アプローチを提案する。
論文 参考訳(メタデータ) (2022-12-26T15:00:42Z) - NaturalAdversaries: Can Naturalistic Adversaries Be as Effective as
Artificial Adversaries? [61.58261351116679]
自然言語理解タスクのための2段階の逆例生成フレームワーク(NaturalAdversaries)を提案する。
モデルパラメータへのアクセスレベルに基づいて、ブラックボックスとホワイトボックスの双方に適応可能である。
以上の結果から,これらの対立はドメイン全体にわたって一般化され,ニューラルネットワーク分類モデルの堅牢性向上に向けた今後の研究への洞察が得られた。
論文 参考訳(メタデータ) (2022-11-08T16:37:34Z) - Unsupervised Pre-Training on Patient Population Graphs for Patient-Level
Predictions [48.02011627390706]
プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。
本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。
提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
論文 参考訳(メタデータ) (2022-03-23T17:59:45Z) - Bridging the Gap Between Patient-specific and Patient-independent
Seizure Prediction via Knowledge Distillation [7.2666838978096875]
既存のアプローチは通常、てんかんの信号の高度にパーソナライズされた特性のために、患者固有の方法でモデルを訓練する。
患者固有のモデルは、蒸留された知識と追加のパーソナライズされたデータによって得られる。
提案手法を用いて,CHB-MIT sEEGデータベース上で5つの最先端の発作予測法を訓練する。
論文 参考訳(メタデータ) (2022-02-25T10:30:29Z) - Pre-training transformer-based framework on large-scale pediatric claims
data for downstream population-specific tasks [3.1580072841682734]
本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。
効果的な知識伝達はタスク対応微調整段階を通じて完了する。
我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
論文 参考訳(メタデータ) (2021-06-24T15:25:41Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳(メタデータ) (2020-09-02T02:50:30Z) - Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models
via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。
ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。
提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文 参考訳(メタデータ) (2020-04-29T14:07:18Z) - Adversarial Training for Large Neural Language Models [107.84290922621163]
対戦型事前学習は、一般化と堅牢性の両方を改善することができることを示す。
ALUMは、対向損失を最大化する埋め込み空間に摂動を適用することで、トレーニング目標を正規化する。
ALUMはさらにタスク固有の微調整と組み合わせて追加のゲインを得ることもできる。
論文 参考訳(メタデータ) (2020-04-20T00:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。