論文の概要: Improving Zero-Shot Detection of Low Prevalence Chest Pathologies using Domain Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2306.08000v1
• Date: Tue, 13 Jun 2023 06:26:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 23:29:50.378400
• Title: Improving Zero-Shot Detection of Low Prevalence Chest Pathologies using Domain Pre-trained Language Models
• Title（参考訳）: ドメイン事前学習言語モデルを用いた低頻度胸部病変のゼロショット検出の改善
• Authors: Aakash Mishra, Rajat Mittal, Christy Jestin, Kostas Tingos, Pranav Rajpurkar
• Abstract要約: 低頻度病理診断のためのドメイン固有事前訓練によるゼロショット分類モデルの性能評価を行った。 従来のCLIP-BERTの重みは、一般的に見られる病態のモデル性能を低下させるが、事前学習したテキストタワーは、低頻度の疾患に対して非常に優れた性能を示す。
• 参考スコア（独自算出の注目度）: 0.9049664874474734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in zero-shot learning have enabled the use of paired image-text data to replace structured labels, replacing the need for expert annotated datasets. Models such as CLIP-based CheXzero utilize these advancements in the domain of chest X-ray interpretation. We hypothesize that domain pre-trained models such as CXR-BERT, BlueBERT, and ClinicalBERT offer the potential to improve the performance of CLIP-like models with specific domain knowledge by replacing BERT weights at the cost of breaking the original model's alignment. We evaluate the performance of zero-shot classification models with domain-specific pre-training for detecting low-prevalence pathologies. Even though replacing the weights of the original CLIP-BERT degrades model performance on commonly found pathologies, we show that pre-trained text towers perform exceptionally better on low-prevalence diseases. This motivates future ensemble models with a combination of differently trained language models for maximal performance.
• Abstract（参考訳）: ゼロショット学習の最近の進歩により、エキスパートアノテートされたデータセットの必要性を置き換えるために、構造化ラベルを置き換えるためにペア画像テキストデータの使用が可能になった。 CLIPベースのCheXzeroのようなモデルは、胸部X線解釈の領域でこれらの進歩を利用する。 CXR-BERT, BlueBERT, ClinicalBERTなどのドメイン事前学習モデルでは、元のモデルのアライメントを損なうコストでBERT重みを置き換えることで、特定のドメイン知識でCLIPのようなモデルの性能を向上させる可能性があると仮定する。 低頻度病変検出のためのドメイン固有の事前訓練によるゼロショット分類モデルの性能評価を行った。 従来のCLIP-BERTの重みは、一般的に見られる病態のモデル性能を低下させるが、事前学習したテキストタワーは、低頻度の疾患に対して非常に優れた性能を示す。 これは、最大パフォーマンスのために異なる訓練された言語モデルを組み合わせた将来のアンサンブルモデルに動機づける。

関連論文リスト

• Bayesian Exploration of Pre-trained Models for Low-shot Image Classification [14.211305168954594]
  本研究はガウス過程に基づくシンプルで効果的な確率的モデルアンサンブルフレームワークを提案する。 平均関数をCLIPとカーネル関数で指定することで,事前知識の統合を実現する。 提案手法は,予測性能に関する競争アンサンブルベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-03-30T10:25:28Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Domain-Specific Pre-training Improves Confidence in Whole Slide Image Classification [15.354256205808273]
  デジタル病理学では、全スライド画像(WSI)や病理像が用いられる。 WSIは、臨床診断のためのディープラーニングモデルに大きな課題を提起する。
  論文  参考訳（メタデータ） (2023-02-20T08:42:06Z)
• Clinical Deterioration Prediction in Brazilian Hospitals Based on Artificial Neural Networks and Tree Decision Models [56.93322937189087]
  超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
  論文  参考訳（メタデータ） (2022-12-17T23:29:14Z)
• Significantly improving zero-shot X-ray pathology classification via fine-tuning pre-trained image-text encoders [50.689585476660554]
  本稿では,正対損失緩和とランダムな文サンプリングを含む新たな微調整手法を提案する。 提案手法は,胸部X線データセットと3つの事前訓練モデル間のゼロショット病理分類を一貫して改善する。
  論文  参考訳（メタデータ） (2022-12-14T06:04:18Z)
• A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
  このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。 これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
  論文  参考訳（メタデータ） (2021-06-25T20:09:23Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)
• Training custom modality-specific U-Net models with weak localizations for improved Tuberculosis segmentation and localization [0.6999740786886535]
  UNetセグメンテーションモデルは従来の手工芸品よりも優れた性能を示している。 結核の鑑別診断のためのカスタム胸部x線モダリティ特定unetモデルの訓練を行った。
  論文  参考訳（メタデータ） (2021-02-21T14:03:49Z)
• The unreasonable effectiveness of Batch-Norm statistics in addressing catastrophic forgetting across medical institutions [8.244654685687054]
  モデル改良と事前学習した知識の保持のトレードオフについて検討する。 本稿では,従来のデータセットのグローバルバッチ正規化統計値を用いて,弾性重み付け(EWC)を適応する,単純で効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-11-16T16:57:05Z)
• PARENTing via Model-Agnostic Reinforcement Learning to Correct Pathological Behaviors in Data-to-Text Generation [11.687228500584082]
  本稿では,最近導入されたPARENTメトリックに依存するモデル非依存のフレームワークが,幻覚と排便の両面の低減に有効であることを示す。 広く使われているWikiBIOとWebNLGベンチマークの評価は、最先端のモデルと比較して、このフレームワークの有効性を示している。
  論文  参考訳（メタデータ） (2020-10-21T09:49:47Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。