Fugu-MT 論文翻訳(概要): Generalized and Transferable Patient Language Representation for Phenotyping with Limited Data

論文の概要: Generalized and Transferable Patient Language Representation for Phenotyping with Limited Data

arxiv url: http://arxiv.org/abs/2103.00482v1
Date: Wed, 24 Feb 2021 18:18:02 GMT
ステータス: 処理完了
システム内更新日: 2021-04-05 00:51:56.268347
Title: Generalized and Transferable Patient Language Representation for Phenotyping with Limited Data
Title（参考訳）: 限定データを用いた表現型表現のための一般化・転送可能な患者言語表現
Authors: Yuqi Si, Elmer V Bernstam, Kirk Roberts
Abstract要約: 医学的言語から一般化および移転可能な患者表現を学習するためのマルチタスクプリトレーニングおよび微調整アプローチを提案する。プレトレーニングによる表現を検証し,低頻度表現型を用いたマルチタスク事前学習モデルの微調整を行う。
参考スコア（独自算出の注目度）: 5.767430988202727
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The paradigm of representation learning through transfer learning has the potential to greatly enhance clinical natural language processing. In this work, we propose a multi-task pre-training and fine-tuning approach for learning generalized and transferable patient representations from medical language. The model is first pre-trained with different but related high-prevalence phenotypes and further fine-tuned on downstream target tasks. Our main contribution focuses on the impact this technique can have on low-prevalence phenotypes, a challenging task due to the dearth of data. We validate the representation from pre-training, and fine-tune the multi-task pre-trained models on low-prevalence phenotypes including 38 circulatory diseases, 23 respiratory diseases, and 17 genitourinary diseases. We find multi-task pre-training increases learning efficiency and achieves consistently high performance across the majority of phenotypes. Most important, the multi-task pre-training is almost always either the best-performing model or performs tolerably close to the best-performing model, a property we refer to as robust. All these results lead us to conclude that this multi-task transfer learning architecture is a robust approach for developing generalized and transferable patient language representations for numerous phenotypes.
Abstract（参考訳）: 伝達学習による表現学習のパラダイムは、臨床自然言語処理を大幅に強化する可能性がある。本稿では,医療言語から一般化した患者表現を学習するためのマルチタスク事前学習と微調整手法を提案する。モデルはまず、異なるが関連する高頻度表現型で事前訓練され、下流ターゲットタスクでさらに微調整される。当社の主な貢献は、このテクニックが低プレバレンス表現型に与える影響に焦点をあてています。本研究は,38例の循環器疾患,23例の呼吸器疾患,17例の生殖器疾患を含む,低頻度の表現型に関するマルチタスク事前訓練モデルの表現性を検証する。マルチタスク事前学習は学習効率を向上し,表現型の大部分で一貫して高い性能を達成する。最も重要なのは、マルチタスク事前学習は、ほぼ常に最高のパフォーマンスモデルであるか、最も優れたパフォーマンスモデルに近いパフォーマンスを実現していることです。これらの結果から,このマルチタスク・トランスファー学習アーキテクチャは,多くの表現型に対して汎用的かつ伝達可能な患者言語表現を開発するための堅牢なアプローチである,という結論に至った。

関連論文リスト

Promoting cross-modal representations to improve multimodal foundation models for physiological signals [3.630706646160043]
マスク付きオートエンコーディング目標を用いて,マルチモーダルモデルの事前学習を行う。このモデルでは,様々な下流タスクに対して線形に探索できる表現を学習できることが示されている。クロスモダリティを誘導する明示的な手法は、マルチモーダル事前訓練戦略を強化する可能性があると論じる。
論文参考訳（メタデータ） (2024-10-21T18:47:36Z)
Physical formula enhanced multi-task learning for pharmacokinetics prediction [54.13787789006417]
AIによる薬物発見の大きな課題は、高品質なデータの不足である。薬物動態の4つの重要なパラメータを同時に予測するPEMAL法を開発した。実験の結果,PEMALは一般的なグラフニューラルネットワークに比べてデータ需要を著しく低減することがわかった。
論文参考訳（メタデータ） (2024-04-16T07:42:55Z)
What Matters When Repurposing Diffusion Models for General Dense Perception Tasks? [49.84679952948808]
最近の研究は、高密度知覚タスクのためのT2I拡散モデルを簡単に調整することで有望な結果を示す。拡散前処理における伝達効率と性能に影響を及ぼす重要な要因を徹底的に検討する。我々の研究は、濃密な視覚認知タスクに特化した効果的な決定論的ワンステップ微調整パラダイムであるGenPerceptの開発において頂点に達した。
論文参考訳（メタデータ） (2024-03-10T04:23:24Z)
PheME: A deep ensemble framework for improving phenotype prediction from multi-modal data [42.56953523499849]
PheMEは, 構造化EHRのマルチモーダルデータを用いたアンサンブル・フレームワークであり, 非構造化臨床ノートを用いて, 正確なフェノタイプ予測を行う。我々はアンサンブル学習を活用し、単一モーダルモデルと多モーダルモデルからの出力を組み合わせて表現型予測を改善する。
論文参考訳（メタデータ） (2023-03-19T23:41:04Z)
The Trade-off between Universality and Label Efficiency of Representations from Contrastive Learning [32.15608637930748]
2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
論文参考訳（メタデータ） (2023-02-28T22:14:33Z)
Prototype-guided Cross-task Knowledge Distillation for Large-scale Models [103.04711721343278]
クロスタスクの知識蒸留は、競争力のあるパフォーマンスを得るために小さな学生モデルを訓練するのに役立ちます。本稿では,大規模教師ネットワークの内在的ローカルレベルのオブジェクト知識を様々なタスクシナリオに転送するための,プロトタイプ誘導型クロスタスク知識蒸留(ProC-KD)アプローチを提案する。
論文参考訳（メタデータ） (2022-12-26T15:00:42Z)
NaturalAdversaries: Can Naturalistic Adversaries Be as Effective as Artificial Adversaries? [61.58261351116679]
自然言語理解タスクのための2段階の逆例生成フレームワーク(NaturalAdversaries)を提案する。モデルパラメータへのアクセスレベルに基づいて、ブラックボックスとホワイトボックスの双方に適応可能である。以上の結果から,これらの対立はドメイン全体にわたって一般化され,ニューラルネットワーク分類モデルの堅牢性向上に向けた今後の研究への洞察が得られた。
論文参考訳（メタデータ） (2022-11-08T16:37:34Z)
Unsupervised Pre-Training on Patient Population Graphs for Patient-Level Predictions [48.02011627390706]
プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
論文参考訳（メタデータ） (2022-03-23T17:59:45Z)
Bridging the Gap Between Patient-specific and Patient-independent Seizure Prediction via Knowledge Distillation [7.2666838978096875]
既存のアプローチは通常、てんかんの信号の高度にパーソナライズされた特性のために、患者固有の方法でモデルを訓練する。患者固有のモデルは、蒸留された知識と追加のパーソナライズされたデータによって得られる。提案手法を用いて,CHB-MIT sEEGデータベース上で5つの最先端の発作予測法を訓練する。
論文参考訳（メタデータ） (2022-02-25T10:30:29Z)
Pre-training transformer-based framework on large-scale pediatric claims data for downstream population-specific tasks [3.1580072841682734]
本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。効果的な知識伝達はタスク対応微調整段階を通じて完了する。我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
論文参考訳（メタデータ） (2021-06-24T15:25:41Z)
Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文参考訳（メタデータ） (2020-04-29T14:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。