Fugu-MT 論文翻訳(概要): Transfer Learning with Clinical Concept Embeddings from Large Language Models

論文の概要: Transfer Learning with Clinical Concept Embeddings from Large Language Models

arxiv url: http://arxiv.org/abs/2409.13893v1
Date: Fri, 20 Sep 2024 20:50:55 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 04:39:44.179458
Title: Transfer Learning with Clinical Concept Embeddings from Large Language Models
Title（参考訳）: 大規模言語モデルを用いた臨床概念埋め込みを用いた伝達学習
Authors: Yuhe Gao, Runxue Bao, Yuelyu Ji, Yiming Sun, Chenxi Song, Jeffrey P. Ferraro, Ye Ye,
Abstract要約: 大言語モデル (LLMs) は, 臨床的概念の意味を捉える重要な可能性を示している。本研究では,2つの大規模医療システムからの電子健康記録を分析し,セマンティック埋め込みが局所的,共有的,移動的学習モデルに与える影響を評価する。
参考スコア（独自算出の注目度）: 4.838020198075334
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Knowledge sharing is crucial in healthcare, especially when leveraging data from multiple clinical sites to address data scarcity, reduce costs, and enable timely interventions. Transfer learning can facilitate cross-site knowledge transfer, but a major challenge is heterogeneity in clinical concepts across different sites. Large Language Models (LLMs) show significant potential of capturing the semantic meaning of clinical concepts and reducing heterogeneity. This study analyzed electronic health records from two large healthcare systems to assess the impact of semantic embeddings from LLMs on local, shared, and transfer learning models. Results indicate that domain-specific LLMs, such as Med-BERT, consistently outperform in local and direct transfer scenarios, while generic models like OpenAI embeddings require fine-tuning for optimal performance. However, excessive tuning of models with biomedical embeddings may reduce effectiveness, emphasizing the need for balance. This study highlights the importance of domain-specific embeddings and careful model tuning for effective knowledge transfer in healthcare.
Abstract（参考訳）: 知識共有は医療において重要であり、特に複数の臨床現場からのデータを活用してデータの不足に対処し、コストを削減し、タイムリーな介入を可能にする。トランスファーラーニングは、クロスサイト知識の伝達を促進するが、大きな課題は、異なる部位にわたる臨床概念における異質性である。大言語モデル (LLM) は, 臨床的概念の意味を捉え, 異種性を減少させる重要な可能性を示す。本研究では,2つの大規模医療システムからの電子健康記録を分析し,LLMのセマンティック埋め込みが局所的,共有的,移動的学習モデルに与える影響を評価する。結果は、Med-BERTのようなドメイン固有のLLMは、ローカルおよび直接転送のシナリオで一貫して性能が向上し、OpenAI埋め込みのような汎用モデルでは、最適なパフォーマンスのために微調整が必要であることを示している。しかしながら、バイオメディカルな埋め込みを伴うモデルの過剰なチューニングは、バランスの必要性を強調する効果を低下させる可能性がある。本研究は、医療における効果的な知識伝達のためのドメイン固有の埋め込みと注意深いモデルチューニングの重要性を強調した。

関連論文リスト

Domain-invariant Clinical Representation Learning by Bridging Data Distribution Shift across EMR Datasets [16.317118701435742]
適切な診断を行い、パーソナライズされた治療計画を設計する上で、効果的な予後モデルが期待されている。疾患の初期段階では、限られたデータ収集と臨床経験に加えて、プライバシと倫理の懸念から、参照のためのデータ可用性が制限される可能性がある。本稿では、ソースデータセットからターゲットデータセットへの遷移モデルを構築するためのドメイン不変表現学習手法を紹介する。
論文参考訳（メタデータ） (2023-10-11T18:32:21Z)
Amplifying Pathological Detection in EEG Signaling Pathways through Cross-Dataset Transfer Learning [10.212217551908525]
実世界の病理分類課題におけるデータとモデルスケーリングとデータセット間の知識伝達の有効性について検討する。ネガティブトランスファーの可能性の課題を特定し、いくつかの重要なコンポーネントの重要性を強調する。以上の結果から,小規模で汎用的なモデル(ShallowNetなど)は単一データセット上では良好に動作するが,大規模なモデル(TCNなど)では,大規模かつ多様なデータセットからの転送や学習がより優れていることが示唆された。
論文参考訳（メタデータ） (2023-09-19T20:09:15Z)
Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites: A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
論文参考訳（メタデータ） (2023-08-31T00:36:10Z)
Hierarchical Pretraining for Biomedical Term Embeddings [4.69793648771741]
階層データに基づく新しいバイオメディカル用語表現モデルであるHiPrBERTを提案する。 HiPrBERTは階層的な情報からペアワイズ距離を効果的に学習し,さらにバイオメディカルな応用に極めて有用な埋め込みを実現できることを示す。
論文参考訳（メタデータ） (2023-07-01T08:16:00Z)
Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文参考訳（メタデータ） (2023-06-15T17:55:05Z)
Maximizing Model Generalization for Machine Condition Monitoring with Self-Supervised Learning and Federated Learning [4.214064911004321]
Deep Learningは、手動で設計された統計的特徴なしで、障害を診断し、生の状態監視データからマシンの健康を評価する。伝統的な教師付き学習は、目に見えない対象ドメインに一般化するコンパクトで差別的な表現を学ぶのに苦労することがある。本研究は,対象領域にモデルをコピーするために,ソース領域における特徴一般化の最大化と重み移動によるTLの適用に焦点をあてる。
論文参考訳（メタデータ） (2023-04-27T17:57:54Z)
LifeLonger: A Benchmark for Continual Disease Classification [59.13735398630546]
MedMNISTコレクションの連続的な疾患分類のためのベンチマークであるLifeLongerを紹介する。タスクとクラスでの病気の漸進的な学習は、モデルをスクラッチから再トレーニングすることなく、新しいサンプルを分類する問題に対処する。クロスドメインインクリメンタル学習は、これまで得られた知識を維持しながら、異なる機関から派生したデータセットを扱う問題に対処する。
論文参考訳（メタデータ） (2022-04-12T12:25:05Z)
When Accuracy Meets Privacy: Two-Stage Federated Transfer Learning Framework in Classification of Medical Images on Limited Data: A COVID-19 Case Study [77.34726150561087]
新型コロナウイルスのパンデミックが急速に広がり、世界の医療資源が不足している。 CNNは医療画像の解析に広く利用され、検証されている。
論文参考訳（メタデータ） (2022-03-24T02:09:41Z)
2021 BEETL Competition: Advancing Transfer Learning for Subject Independence & Heterogenous EEG Data Sets [89.84774119537087]
我々は、診断とBCI(Brain-Computer-Interface)に関する2つの伝達学習課題を設計する。第1タスクは、患者全体にわたる自動睡眠ステージアノテーションに対処する医療診断に重点を置いている。タスク2はBrain-Computer Interface (BCI)に集中しており、被験者とデータセットの両方にわたる運動画像のデコードに対処する。
論文参考訳（メタデータ） (2022-02-14T12:12:20Z)
Democratizing Artificial Intelligence in Healthcare: A Study of Model Development Across Two Institutions Incorporating Transfer Learning [8.043077408518826]
トランスファーラーニング(TL)は、非常に小さなローカルデータセットを使用して、ある機関から完全に訓練されたモデルを他の機関によって微調整することを可能にする。本稿では,基本的なユースケースを対象としたAIモデル開発におけるTLの課題,方法論,メリットについて述べる。
論文参考訳（メタデータ） (2020-09-25T21:12:50Z)
Uncovering the structure of clinical EEG signals with self-supervised learning [64.4754948595556]
教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。この現象は脳波(EEG)などの臨床関連データに特に問題となる。ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
論文参考訳（メタデータ） (2020-07-31T14:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。