論文の概要: Automatic Assignment of Radiology Examination Protocols Using Pre-trained Language Models with Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2009.00694v3
• Date: Tue, 6 Jul 2021 20:24:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-23 01:11:36.468784
• Title: Automatic Assignment of Radiology Examination Protocols Using Pre-trained Language Models with Knowledge Distillation
• Title（参考訳）: 知識蒸留による事前学習言語モデルを用いた放射線検査プロトコルの自動割り当て
• Authors: Wilson Lau, Laura Aaltonen, Martin Gunn, Meliha Yetisgen
• Abstract要約: 本稿では,コンピュータ断層検査にプロトコルを自動割り当てる深層学習手法を提案する。 データ拡張を通じてマイノリティクラスをアップサンプリングする知識蒸留手法を用いた。 知識蒸留はマイノリティクラス全体の性能を改善し、F1スコアは0.66である。
• 参考スコア（独自算出の注目度）: 0.8029049649310211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Selecting radiology examination protocol is a repetitive, and time-consuming process. In this paper, we present a deep learning approach to automatically assign protocols to computer tomography examinations, by pre-training a domain-specific BERT model ($BERT_{rad}$). To handle the high data imbalance across exam protocols, we used a knowledge distillation approach that up-sampled the minority classes through data augmentation. We compared classification performance of the described approach with the statistical n-gram models using Support Vector Machine (SVM), Gradient Boosting Machine (GBM), and Random Forest (RF) classifiers, as well as the Google's $BERT_{base}$ model. SVM, GBM and RF achieved macro-averaged F1 scores of 0.45, 0.45, and 0.6 while $BERT_{base}$ and $BERT_{rad}$ achieved 0.61 and 0.63. Knowledge distillation improved overall performance on the minority classes, achieving a F1 score of 0.66.
• Abstract（参考訳）: 放射線検査プロトコルの選択は反復的かつ時間のかかるプロセスである。 本稿では,領域固有のBERTモデル(BERT_{rad}$)を事前学習することで,コンピュータ断層撮影検査にプロトコルを自動的に割り当てる深層学習手法を提案する。 試験プロトコルにまたがる高いデータ不均衡に対処するために、我々はデータ拡張を通じてマイノリティクラスをサンプリングする知識蒸留アプローチを用いた。 提案手法の分類性能を,SVM(Support Vector Machine),GBM(Gradient Boosting Machine),RF(Random Forest)の分類器およびGoogleの$BERT_{base}$モデルを用いた統計的n-gramモデルと比較した。 SVM, GBM, RFは0.45, 0.45, 0.6であり, BERT_{base}$と$BERT_{rad}$は0.61, 0.63である。 知識蒸留はマイノリティクラス全体の性能を改善し、F1スコアは0.66である。

関連論文リスト

• BERT-Based Approach for Automating Course Articulation Matrix Construction with Explainable AI [1.4214002697449326]
  コースアウトカム(CO)とプログラムアウトカム(PO)/プログラムアウトカム(PSO)アライメントは,カリキュラムの一貫性を確保し,教育効果を評価する上で重要な課題である。 本研究は,CAM(Course Articulation Matrix)の自動生成のためのBERTモデルを用いた伝達学習の可能性を示す。 精度,精度,リコール,F1スコアはそれぞれ98.66%,98.67%,98.66%,98.66%である。
  論文  参考訳（メタデータ） (2024-11-21T16:02:39Z)
• Applying Ensemble Methods to Model-Agnostic Machine-Generated Text Detection [0.0]
  そこで本研究では,機械が生成したテキストを,そこから派生した大きな言語モデルが未知の場合に検出する問題について検討する。 生成型(またはベース)言語モデルと識別型(またはスコアリング型)言語モデルとが同一である場合に高い精度で、ゼロショットモデルを用いてテキスト検出を行う。
  論文  参考訳（メタデータ） (2024-06-18T12:58:01Z)
• Multi-objective Representation for Numbers in Clinical Narratives Using CamemBERT-bio [0.9208007322096533]
  本研究の目的は,医学文献から抽出した数値を7つの生理カテゴリーに分類することである。 キーワード埋め込みをモデルに統合し、数に依存しない戦略を採用する、という2つの主要なイノベーションを紹介します。 従来のF1スコア0.89を上回り,CamemBERT-bioの有効性を著しく改善した。
  論文  参考訳（メタデータ） (2024-05-28T01:15:21Z)
• Exploring the Value of Pre-trained Language Models for Clinical Named Entity Recognition [6.917786124918387]
  我々は、スクラッチからトレーニングされたTransformerモデルと、細調整されたBERTベースのLLMを比較した。 文脈学習を促進するために,追加のCRF層がそのようなモデルに与える影響を検討する。
  論文  参考訳（メタデータ） (2022-10-23T16:27:31Z)
• Enabling Classifiers to Make Judgements Explicitly Aligned with Human Values [73.82043713141142]
  性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。 本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-14T09:10:49Z)
• Decision Forest Based EMG Signal Classification with Low Volume Dataset Augmented with Random Variance Gaussian Noise [51.76329821186873]
  我々は6種類の手振りを限定的なサンプル数で分類できるモデルを作成し、より広い聴衆によく一般化する。 信号のランダムなバウンドの使用など、より基本的な手法のセットにアピールするが、これらの手法がオンライン環境で持てる力を示したいと考えている。
  論文  参考訳（メタデータ） (2022-06-29T23:22:18Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
  本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。 本手法は画像内情報と画像間情報の両方を利用する。 トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
  論文  参考訳（メタデータ） (2021-04-01T08:09:26Z)
• Developing and Improving Risk Models using Machine-learning Based Algorithms [6.245537312562826]
  本研究の目的は,ビジネスの欠陥を分類する優れたリスクモデルを開発することである。 この解析の理論的根拠は、まず正則化により良質な基底二項分類器を得ることである。 優れたベース分類器上で、バッジやブーストを含む2つのモデルアンサンブルアルゴリズムを実行し、さらなるモデル改善を行う。
  論文  参考訳（メタデータ） (2020-09-09T20:38:00Z)
• Fast, Accurate, and Simple Models for Tabular Data via Augmented Distillation [97.42894942391575]
  本研究では、FAST-DADを用いて、任意の複雑なアンサンブル予測を、高木、無作為林、深層ネットワークなどの個々のモデルに抽出する。 我々の個々の蒸留モデルは、H2O/AutoSklearnのようなAutoMLツールが生成するアンサンブル予測よりも10倍高速で精度が高い。
  論文  参考訳（メタデータ） (2020-06-25T09:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。