論文の概要: An Investigation into the Effects of Pre-training Data Distributions for
Pathology Report Classification
- arxiv url: http://arxiv.org/abs/2305.17588v1
- Date: Sat, 27 May 2023 22:15:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 18:07:54.572646
- Title: An Investigation into the Effects of Pre-training Data Distributions for
Pathology Report Classification
- Title（参考訳）: 病理報告分類における事前訓練データ分布の影響に関する検討
- Authors: Aliyah R. Hsu, Yeshwanth Cherapanamjeri, Briton Park, Tristan Naumann,
Anobel Y. Odisho, Bin Yu
- Abstract要約: 我々は,5つの変圧器事前学習モデルについて,同じサイズだが事前学習コーパスが異なる評価を行った。
混合ドメインモデルとドメイン固有モデルは、微調整時により高速な特徴の曖昧さを示す。
以上の結果から, 一般自然言語とドメイン固有コーパスを事前学習に用いたことは, 病理報告分類の補完的目的に有効であることが示唆された。
- 参考スコア（独自算出の注目度）: 10.393278772374947
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pre-trained transformer models have demonstrated success across many natural
language processing (NLP) tasks. In applying these models to the clinical
domain, a prevailing assumption is that pre-training language models from
scratch on large-scale biomedical data results in substantial improvements. We
test this assumption with 4 pathology classification tasks on a corpus of 2907
prostate cancer pathology reports. We evaluate 5 transformer pre-trained models
that are the same size but differ in pre-training corpora. Specifically, we
analyze 3 categories of models: 1)General-domain: BERT and Turing Natural
Language Representation (TNLR) models, which use general corpora for
pre-training, 2)Mixed-domain: BioBERT which is obtained from BERT by including
PubMed abstracts in pre-training and Clinical BioBERT which additionally
includes MIMIC-III clinical notes and 3)Domain-specific: PubMedBERT which is
pre-trained from scratch on PubMed abstracts. We find the mixed-domain and
domain-specific models exhibit faster feature disambiguation during
fine-tuning. However, the domain-specific model, PubMedBERT, can overfit to
minority classes when presented with class imbalance, a common scenario in
pathology report data. At the same time, the mixed-domain models are more
resistant to overfitting. Our findings indicate that the use of general natural
language and domain-specific corpora in pre-training serve complementary
purposes for pathology report classification. The first enables resistance to
overfitting when fine-tuning on an imbalanced dataset while the second allows
for more accurate modelling of the fine-tuning domain. An expert evaluation is
also conducted to reveal common outlier modes of each model. Our results could
inform better fine-tuning practices in the clinical domain, to possibly
leverage the benefits of mixed-domain models for imbalanced downstream
datasets.
- Abstract（参考訳）: 事前訓練されたトランスフォーマーモデルは、多くの自然言語処理(NLP)タスクで成功している。
これらのモデルを臨床領域に適用する場合、大規模なバイオメディカルデータに基づいて言語モデルをスクラッチから事前訓練することで、大幅な改善が期待できる。
前立腺癌2907例のコーパス上で4つの病理分類タスクでこの仮定を検証した。
同一サイズながらコーパスの予習が異なる5つの変圧器予習モデルについて評価した。
具体的には,1)一般ドメイン: BERTとチューリング自然言語表現(TNLR)モデル,2)事前学習に汎用コーパスを使用するBioBERTモデル,2)事前学習にPubMed抽象を組み込んだBERTと,3)MIC-III臨床ノートを付加した臨床BioBERT,3)ドメイン固有: PubMed抽象をスクラッチからトレーニングしたPubMedBERTの3つのカテゴリを解析する。
混合ドメインモデルとドメイン固有モデルは、微調整時により高速な特徴の曖昧さを示す。
しかし、ドメイン固有モデルであるPubMedBERTは、病理報告データにおいて一般的なシナリオであるクラス不均衡が提示された場合、マイノリティクラスに過度に適合する。
同時に、混合ドメインモデルはオーバーフィッティングに対してより耐性がある。
本研究は, 一般自然言語とドメイン固有コーパスの事前学習が, 病理報告分類の補完的目的であることを示す。
第1は、不均衡なデータセットで微調整を行う場合のオーバーフィッティングに対する耐性、第2は、微調整ドメインのより正確なモデリングを可能にする。
各モデルの共通外れ値モードを明らかにするために、専門家による評価も行われる。
以上の結果から,不均衡な下流データセットに対する混合ドメインモデルの利点を活用できる可能性が示唆された。
関連論文リスト
- Improved EATFormer: A Vision Transformer for Medical Image Classification [0.0]
本稿では,ビジョントランスフォーマを用いた医用画像分類のための改良されたアルゴリズムベースのトランスフォーマアーキテクチャを提案する。
提案したEATFormerアーキテクチャは、畳み込みニューラルネットワークとビジョントランスフォーマーの長所を組み合わせたものだ。
Chest X-rayデータセットとKvasirデータセットの実験結果から,提案したEATFormerはベースラインモデルと比較して予測速度と精度を大幅に向上することが示された。
論文 参考訳（メタデータ） (2024-03-19T21:40:20Z) - How Well Does GPT-4V(ision) Adapt to Distribution Shifts? A Preliminary
Investigation [90.93999543169296]
GPT-4Vは最も先進的な多モード基盤モデルとして機能する。
本研究は, GPT-4Vの動的環境における適応性と一般化能力について, 厳密に評価する。
論文 参考訳（メタデータ） (2023-12-12T16:48:07Z) - DARE: Towards Robust Text Explanations in Biomedical and Healthcare
Applications [54.93807822347193]
帰属ロバスト性評価手法を与えられたドメインに適応させ、ドメイン固有の妥当性を考慮する方法を示す。
次に,DAREが特徴とする脆さを軽減するために,対人訓練とFAR訓練の2つの方法を提案する。
最後に,確立した3つのバイオメディカル・ベンチマークを用いて実験を行い,本手法を実証的に検証した。
論文 参考訳（メタデータ） (2023-07-05T08:11:40Z) - Curriculum-Based Augmented Fourier Domain Adaptation for Robust Medical
Image Segmentation [18.830738606514736]
本研究は、堅牢な医用画像分割のためのカリキュラムベースの拡張フーリエドメイン適応(Curri-AFDA)を提案する。
特に、カリキュラム学習戦略は、異なるレベルのデータシフトの下でのモデルの因果関係に基づいている。
複数のサイトやスキャナーから収集した網膜と核の2つのセグメンテーションタスクの実験から,提案手法が優れた適応と一般化性能をもたらすことが示唆された。
論文 参考訳（メタデータ） (2023-06-06T08:56:58Z) - Parameter-Efficient Transformer with Hybrid Axial-Attention for Medical
Image Segmentation [10.441315305453504]
医用画像セグメンテーションのための位置情報を用いた本質的帰納バイアスを探索するパラメータ効率変換器を提案する。
そこで本研究では,空間画素情報と相対位置情報を帰納バイアスとして利用できるハイブリッド軸アテンション(HAA)を提案する。
論文 参考訳（メタデータ） (2022-11-17T13:54:55Z) - A Multimodal Transformer: Fusing Clinical Notes with Structured EHR Data
for Interpretable In-Hospital Mortality Prediction [8.625186194860696]
臨床ノートと構造化HRデータを融合し,院内死亡率の予測に役立てる新しいマルチモーダルトランスフォーマーを提案する。
そこで本研究では,臨床ノートにおいて重要な単語を選択するための統合的勾配(IG)手法を提案する。
また,臨床 BERT における領域適応型事前訓練とタスク適応型微調整の重要性についても検討した。
論文 参考訳（メタデータ） (2022-08-09T03:49:52Z) - Differentiable Agent-based Epidemiology [71.81552021144589]
GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。
GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
論文 参考訳（メタデータ） (2022-07-20T07:32:02Z) - Encoding Domain Information with Sparse Priors for Inferring Explainable
Latent Variables [2.8935588665357077]
説明可能な因子の推論を促進するために,スパース先行の因子潜在変数モデルであるspex-LVMを提案する。
spex-LVMは、既存の生物医療経路の知識を利用して、潜在因子にアノテート属性を自動的に割り当てる。
シミュレーションおよび実シングルセルRNA-seqデータセットの評価は、本モデルが本質的に説明可能な方法で関連構造を頑健に識別することを示す。
論文 参考訳（メタデータ） (2021-07-08T10:19:32Z) - Adversarial Sample Enhanced Domain Adaptation: A Case Study on
Predictive Modeling with Electronic Health Records [57.75125067744978]
ドメイン適応を容易にするデータ拡張手法を提案する。
逆生成したサンプルはドメイン適応時に使用される。
その結果,本手法の有効性とタスクの一般性が確認された。
論文 参考訳（メタデータ） (2021-01-13T03:20:20Z) - Transformer Based Multi-Source Domain Adaptation [53.24606510691877]
実践的な機械学習設定では、モデルを予測しなければならないデータは、トレーニングされたデータとは異なる分布から生まれることが多い。
本稿では、複数のソースドメインからラベル付きデータに基づいてモデルを訓練し、ラベル付きデータが見られないドメイン上で予測を行う、教師なしマルチソースドメイン適応の問題について検討する。
本研究では,大規模な事前学習型変圧器を用いたドメインエキスパートの予測が極めて均質であることを示し,それらの予測を混在させる効果的な関数の学習を困難にしている。
論文 参考訳（メタデータ） (2020-09-16T16:56:23Z) - Predicting Clinical Diagnosis from Patients Electronic Health Records
Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。
本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。
約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文 参考訳（メタデータ） (2020-07-15T09:22:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。