論文の概要: An Investigation into the Effects of Pre-training Data Distributions for Pathology Report Classification

• arxiv url: http://arxiv.org/abs/2305.17588v1
• Date: Sat, 27 May 2023 22:15:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 18:07:54.572646
• Title: An Investigation into the Effects of Pre-training Data Distributions for Pathology Report Classification
• Title（参考訳）: 病理報告分類における事前訓練データ分布の影響に関する検討
• Authors: Aliyah R. Hsu, Yeshwanth Cherapanamjeri, Briton Park, Tristan Naumann, Anobel Y. Odisho, Bin Yu
• Abstract要約: 我々は,5つの変圧器事前学習モデルについて,同じサイズだが事前学習コーパスが異なる評価を行った。 混合ドメインモデルとドメイン固有モデルは、微調整時により高速な特徴の曖昧さを示す。 以上の結果から, 一般自然言語とドメイン固有コーパスを事前学習に用いたことは, 病理報告分類の補完的目的に有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 10.393278772374947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained transformer models have demonstrated success across many natural language processing (NLP) tasks. In applying these models to the clinical domain, a prevailing assumption is that pre-training language models from scratch on large-scale biomedical data results in substantial improvements. We test this assumption with 4 pathology classification tasks on a corpus of 2907 prostate cancer pathology reports. We evaluate 5 transformer pre-trained models that are the same size but differ in pre-training corpora. Specifically, we analyze 3 categories of models: 1)General-domain: BERT and Turing Natural Language Representation (TNLR) models, which use general corpora for pre-training, 2)Mixed-domain: BioBERT which is obtained from BERT by including PubMed abstracts in pre-training and Clinical BioBERT which additionally includes MIMIC-III clinical notes and 3)Domain-specific: PubMedBERT which is pre-trained from scratch on PubMed abstracts. We find the mixed-domain and domain-specific models exhibit faster feature disambiguation during fine-tuning. However, the domain-specific model, PubMedBERT, can overfit to minority classes when presented with class imbalance, a common scenario in pathology report data. At the same time, the mixed-domain models are more resistant to overfitting. Our findings indicate that the use of general natural language and domain-specific corpora in pre-training serve complementary purposes for pathology report classification. The first enables resistance to overfitting when fine-tuning on an imbalanced dataset while the second allows for more accurate modelling of the fine-tuning domain. An expert evaluation is also conducted to reveal common outlier modes of each model. Our results could inform better fine-tuning practices in the clinical domain, to possibly leverage the benefits of mixed-domain models for imbalanced downstream datasets.
• Abstract（参考訳）: 事前訓練されたトランスフォーマーモデルは、多くの自然言語処理(NLP)タスクで成功している。 これらのモデルを臨床領域に適用する場合、大規模なバイオメディカルデータに基づいて言語モデルをスクラッチから事前訓練することで、大幅な改善が期待できる。 前立腺癌2907例のコーパス上で4つの病理分類タスクでこの仮定を検証した。 同一サイズながらコーパスの予習が異なる5つの変圧器予習モデルについて評価した。 具体的には,1)一般ドメイン: BERTとチューリング自然言語表現(TNLR)モデル,2)事前学習に汎用コーパスを使用するBioBERTモデル,2)事前学習にPubMed抽象を組み込んだBERTと,3)MIC-III臨床ノートを付加した臨床BioBERT,3)ドメイン固有: PubMed抽象をスクラッチからトレーニングしたPubMedBERTの3つのカテゴリを解析する。 混合ドメインモデルとドメイン固有モデルは、微調整時により高速な特徴の曖昧さを示す。 しかし、ドメイン固有モデルであるPubMedBERTは、病理報告データにおいて一般的なシナリオであるクラス不均衡が提示された場合、マイノリティクラスに過度に適合する。 同時に、混合ドメインモデルはオーバーフィッティングに対してより耐性がある。 本研究は, 一般自然言語とドメイン固有コーパスの事前学習が, 病理報告分類の補完的目的であることを示す。 第1は、不均衡なデータセットで微調整を行う場合のオーバーフィッティングに対する耐性、第2は、微調整ドメインのより正確なモデリングを可能にする。 各モデルの共通外れ値モードを明らかにするために、専門家による評価も行われる。 以上の結果から,不均衡な下流データセットに対する混合ドメインモデルの利点を活用できる可能性が示唆された。

関連論文リスト

• Transfer Learning with Clinical Concept Embeddings from Large Language Models [4.838020198075334]
  大言語モデル (LLMs) は, 臨床的概念の意味を捉える重要な可能性を示している。 本研究では,2つの大規模医療システムからの電子健康記録を分析し,セマンティック埋め込みが局所的,共有的,移動的学習モデルに与える影響を評価する。
  論文  参考訳（メタデータ） (2024-09-20T20:50:55Z)
• Analyzing the Effect of $k$-Space Features in MRI Classification Models [0.0]
  医用イメージングに適した説明可能なAI手法を開発した。 我々は、画像領域と周波数領域の両方にわたるMRIスキャンを分析する畳み込みニューラルネットワーク(CNN)を採用している。 このアプローチは、初期のトレーニング効率を高めるだけでなく、追加機能がモデル予測にどのように影響するかの理解を深めます。
  論文  参考訳（メタデータ） (2024-09-20T15:43:26Z)
• Improved EATFormer: A Vision Transformer for Medical Image Classification [0.0]
  本稿では,ビジョントランスフォーマを用いた医用画像分類のための改良されたアルゴリズムベースのトランスフォーマアーキテクチャを提案する。 提案したEATFormerアーキテクチャは、畳み込みニューラルネットワークとビジョントランスフォーマーの長所を組み合わせたものだ。 Chest X-rayデータセットとKvasirデータセットの実験結果から,提案したEATFormerはベースラインモデルと比較して予測速度と精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-03-19T21:40:20Z)
• How Well Does GPT-4V(ision) Adapt to Distribution Shifts? A Preliminary Investigation [90.93999543169296]
  GPT-4Vは最も先進的な多モード基盤モデルとして機能する。 本研究は, GPT-4Vの動的環境における適応性と一般化能力について, 厳密に評価する。
  論文  参考訳（メタデータ） (2023-12-12T16:48:07Z)
• DARE: Towards Robust Text Explanations in Biomedical and Healthcare Applications [54.93807822347193]
  帰属ロバスト性評価手法を与えられたドメインに適応させ、ドメイン固有の妥当性を考慮する方法を示す。 次に,DAREが特徴とする脆さを軽減するために,対人訓練とFAR訓練の2つの方法を提案する。 最後に,確立した3つのバイオメディカル・ベンチマークを用いて実験を行い,本手法を実証的に検証した。
  論文  参考訳（メタデータ） (2023-07-05T08:11:40Z)
• Curriculum-Based Augmented Fourier Domain Adaptation for Robust Medical Image Segmentation [18.830738606514736]
  本研究は、堅牢な医用画像分割のためのカリキュラムベースの拡張フーリエドメイン適応(Curri-AFDA)を提案する。 特に、カリキュラム学習戦略は、異なるレベルのデータシフトの下でのモデルの因果関係に基づいている。 複数のサイトやスキャナーから収集した網膜と核の2つのセグメンテーションタスクの実験から,提案手法が優れた適応と一般化性能をもたらすことが示唆された。
  論文  参考訳（メタデータ） (2023-06-06T08:56:58Z)
• Parameter-Efficient Transformer with Hybrid Axial-Attention for Medical Image Segmentation [10.441315305453504]
  医用画像セグメンテーションのための位置情報を用いた本質的帰納バイアスを探索するパラメータ効率変換器を提案する。 そこで本研究では,空間画素情報と相対位置情報を帰納バイアスとして利用できるハイブリッド軸アテンション(HAA)を提案する。
  論文  参考訳（メタデータ） (2022-11-17T13:54:55Z)
• Differentiable Agent-based Epidemiology [71.81552021144589]
  GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。 GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
  論文  参考訳（メタデータ） (2022-07-20T07:32:02Z)
• Adversarial Sample Enhanced Domain Adaptation: A Case Study on Predictive Modeling with Electronic Health Records [57.75125067744978]
  ドメイン適応を容易にするデータ拡張手法を提案する。 逆生成したサンプルはドメイン適応時に使用される。 その結果,本手法の有効性とタスクの一般性が確認された。
  論文  参考訳（メタデータ） (2021-01-13T03:20:20Z)
• Transformer Based Multi-Source Domain Adaptation [53.24606510691877]
  実践的な機械学習設定では、モデルを予測しなければならないデータは、トレーニングされたデータとは異なる分布から生まれることが多い。 本稿では、複数のソースドメインからラベル付きデータに基づいてモデルを訓練し、ラベル付きデータが見られないドメイン上で予測を行う、教師なしマルチソースドメイン適応の問題について検討する。 本研究では,大規模な事前学習型変圧器を用いたドメインエキスパートの予測が極めて均質であることを示し,それらの予測を混在させる効果的な関数の学習を困難にしている。
  論文  参考訳（メタデータ） (2020-09-16T16:56:23Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。