論文の概要: Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines

• arxiv url: http://arxiv.org/abs/2302.10406v1
• Date: Tue, 21 Feb 2023 02:42:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-22 16:43:54.915827
• Title: Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines
• Title（参考訳）: 自然言語処理(NLP)に基づくデジタル病理:NLPと畳み込みニューラルネットワークに基づくディープラーニングパイプラインのベンチマーク
• Authors: Min Cen, Xingyu Li, Bangwei Guo, Jitendra Jonnagaddala, Hong Zhang, Xu Steven Xu
• Abstract要約: NLPベースのコンピュータビジョンモデル、特に視覚変換器は、多くの画像処理タスクにおいてCNNモデルより優れていることが示されている。 我々は,最近提案された5つのNLPモデルと4つのCNNモデルをベンチマークするために,デジタル病理パイプラインを開発した。 我々のNLPモデルは、比較的小さなトレーニングデータセットを用いて、3つのバイオマーカー全てに対して最先端の予測を達成した。
• 参考スコア（独自算出の注目度）: 4.876281217951695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: NLP-based computer vision models, particularly vision transformers, have been shown to outperform CNN models in many imaging tasks. However, most digital pathology artificial-intelligence models are based on CNN architectures, probably owing to a lack of data regarding NLP models for pathology images. In this study, we developed digital pathology pipelines to benchmark the five most recently proposed NLP models (vision transformer (ViT), Swin Transformer, MobileViT, CMT, and Sequencer2D) and four popular CNN models (ResNet18, ResNet50, MobileNetV2, and EfficientNet) to predict biomarkers in colorectal cancer (microsatellite instability, CpG island methylator phenotype, and BRAF mutation). Hematoxylin and eosin-stained whole-slide images from Molecular and Cellular Oncology and The Cancer Genome Atlas were used as training and external validation datasets, respectively. Cross-study external validations revealed that the NLP-based models significantly outperformed the CNN-based models in biomarker prediction tasks, improving the overall prediction and precision up to approximately 10% and 26%, respectively. Notably, compared with existing models in the current literature using large training datasets, our NLP models achieved state-of-the-art predictions for all three biomarkers using a relatively small training dataset, suggesting that large training datasets are not a prerequisite for NLP models or transformers, and NLP may be more suitable for clinical studies in which small training datasets are commonly collected. The superior performance of Sequencer2D suggests that further research and innovation on both transformer and bidirectional long short-term memory architectures are warranted in the field of digital pathology. NLP models can replace classic CNN architectures and become the new workhorse backbone in the field of digital pathology.
• Abstract（参考訳）: NLPベースのコンピュータビジョンモデル、特に視覚変換器は、多くの画像処理タスクにおいてCNNモデルより優れていることが示されている。 しかし、ほとんどのデジタル病理学人工知能モデルは、おそらく病理画像のNLPモデルに関するデータが不足しているため、CNNアーキテクチャに基づいている。 本研究では,最近提案された5つのNLPモデル(ビジョントランスフォーマー(ViT),Swin Transformer,MobileViT,CMT,Sequencer2D)と4つのCNNモデル(ResNet18,ResNet50,MobileNetV2,EfficientNet)を比較し,大腸癌のバイオマーカー(マイクロサテライト不安定性,CpG島メチル化剤表現型,BRAF変異)の予測を行った。 ヘマトキシリンと細胞性腫瘍学のエオシン含有全スライディング画像とThe Cancer Genome Atlasを,それぞれトレーニングおよび外的検証データセットとして使用した。 クロススタディな外部検証により、nlpベースのモデルはバイオマーカー予測タスクにおいてcnnベースのモデルを大きく上回り、全体の予測と精度を10%と26%に向上させた。 特に,大規模なトレーニングデータセットを用いた既存の文献と比較して,我々のNLPモデルは比較的小さなトレーニングデータセットを用いて,3つのバイオマーカーすべてに対して最先端の予測を達成し,大規模なトレーニングデータセットがNLPモデルやトランスフォーマーの必須条件ではないことを示唆している。 Sequencer2Dの優れた性能は、トランスフォーマーと双方向の長期記憶アーキテクチャに関するさらなる研究と革新がデジタル病理学の分野で保証されていることを示唆している。 NLPモデルは従来のCNNアーキテクチャを置き換えることができ、デジタル病理学の分野における新しいワークホースバックボーンとなる。

関連論文リスト

• Development and Comparative Analysis of Machine Learning Models for Hypoxemia Severity Triage in CBRNE Emergency Scenarios Using Physiological and Demographic Data from Medical-Grade Devices [0.0]
  グラディエントブースティングモデル(GBM)は、トレーニング速度、解釈可能性、信頼性の点で、シーケンシャルモデルを上回った。 タイムリーな介入のために5分間の予測ウィンドウが選択された。 本研究は、トリアージを改善し、アラーム疲労を軽減するMLの可能性を強調した。
  論文  参考訳（メタデータ） (2024-10-30T23:24:28Z)
• Equipping Computational Pathology Systems with Artifact Processing Pipelines: A Showcase for Computation and Performance Trade-offs [0.7226586370054761]
  損傷組織, ぼかし, 折りたたみ組織, 気泡, 組織学的に無関係な血液を含む5つの重要な人工物を検出するための専門家(MoE)の混合手法を提案する。 2つのMoEと2つのマルチクラスモデルであるDCNNとビジョントランスフォーマーを用いたDLパイプラインを開発した。 提案されたMoEは86.15%のF1と97.93%の感度スコアを持ち、ViTを用いたMoEよりも推論の計算コストが低い。
  論文  参考訳（メタデータ） (2024-03-12T15:22:05Z)
• Computational Pathology at Health System Scale -- Self-Supervised Foundation Models from Three Billion Images [30.618749295623363]
  本研究の目的は,学術基礎モデルの最大化と,事前学習による自己指導型学習アルゴリズムのベンチマークである。 これまでで最大の病理データセットを収集し、423万枚以上の顕微鏡スライドから30億枚以上の画像を集めました。 以上の結果から, 自然画像の事前学習と比較して, 診断データに対する事前学習は下流での学習に有益であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-10T21:40:19Z)
• A Light-weight CNN Model for Efficient Parkinson's Disease Diagnostics [1.382077805849933]
  提案モデルは,時系列信号の特性を適応させるために,畳み込みニューラルネットワーク(CNN)から短期記憶(LSTM)へと変換される。 実験結果から,提案モデルでは,パラメータや操作がはるかに少ない複数の評価指標に対して,高品質な診断結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-02-02T09:49:07Z)
• An Adversarial Active Sampling-based Data Augmentation Framework for Manufacturable Chip Design [55.62660894625669]
  リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。 機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。 本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-27T20:53:39Z)
• Application of Deep Learning in Generating Structured Radiology Reports: A Transformer-Based Technique [0.4549831511476247]
  自然言語処理技術は、自由テキスト形式の構造化データへの自動情報抽出と変換を容易にする。 深層学習(DL)に基づくモデルがNLP実験に適応し,有望な結果を得た。 本研究では,臨床情報抽出のための変圧器を用いた細粒度エンティティ認識アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-09-25T08:03:15Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
  このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。 これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
  論文  参考訳（メタデータ） (2021-06-25T20:09:23Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)
• Ensemble Transfer Learning for the Prediction of Anti-Cancer Drug Response [49.86828302591469]
  本稿では,抗がん剤感受性の予測にトランスファーラーニングを適用した。 我々は、ソースデータセット上で予測モデルをトレーニングし、ターゲットデータセット上でそれを洗練する古典的な転送学習フレームワークを適用した。 アンサンブル転送学習パイプラインは、LightGBMと異なるアーキテクチャを持つ2つのディープニューラルネットワーク(DNN)モデルを使用して実装されている。
  論文  参考訳（メタデータ） (2020-05-13T20:29:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。