論文の概要: Students Need More Attention: BERT-based AttentionModel for Small Data
with Application to AutomaticPatient Message Triage
- arxiv url: http://arxiv.org/abs/2006.11991v1
- Date: Mon, 22 Jun 2020 03:39:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 04:36:22.951497
- Title: Students Need More Attention: BERT-based AttentionModel for Small Data
with Application to AutomaticPatient Message Triage
- Title（参考訳）: 学生がもっと注意を払わなければならない: bert-based attentionmodel for small data with application to automaticpatient message triage
- Authors: Shijing Si, Rui Wang, Jedrek Wosik, Hao Zhang, David Dov, Guoyin Wang,
Ricardo Henao, and Lawrence Carin
- Abstract要約: BioBERT (Bidirectional Representations from Transformers for Biomedical Text Mining) に基づく新しいフレームワークを提案する。
LESA-BERTと呼ぶBERTの各層にラベル埋め込みを導入し、(ii)LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指す。
アプリケーションとして,本フレームワークを用いて,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度,緊急度という3つのカテゴリに分類する。
- 参考スコア（独自算出の注目度）: 65.7062363323781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Small and imbalanced datasets commonly seen in healthcare represent a
challenge when training classifiers based on deep learning models. So
motivated, we propose a novel framework based on BioBERT (Bidirectional Encoder
Representations from Transformers forBiomedical TextMining). Specifically, (i)
we introduce Label Embeddings for Self-Attention in each layer of BERT, which
we call LESA-BERT, and (ii) by distilling LESA-BERT to smaller variants, we aim
to reduce overfitting and model size when working on small datasets. As an
application, our framework is utilized to build a model for patient portal
message triage that classifies the urgency of a message into three categories:
non-urgent, medium and urgent. Experiments demonstrate that our approach can
outperform several strong baseline classifiers by a significant margin of 4.3%
in terms of macro F1 score. The code for this project is publicly available at
\url{https://github.com/shijing001/text_classifiers}.
- Abstract（参考訳）: 医療で一般的に見られる小さく不均衡なデータセットは、ディープラーニングモデルに基づいて分類器を訓練する際の課題である。
そこで本研究では,BioBERT (Bidirectional Encoder Representations from Transformers for Biomedical TextMining) に基づく新しいフレームワークを提案する。
具体的には
(i) LESA-BERTと呼ぶBERTの各層に自己注意のためのラベル埋め込みを導入し、
(II) LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指している。
アプリケーションとしては,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度度,緊急度という3つのカテゴリに分類する。
実験により,いくつかの強力なベースライン分類器を,マクロf1スコアで4.3%のかなりのマージンで上回ることができることを示した。
このプロジェクトのコードは \url{https://github.com/shijing001/text_classifiers} で公開されている。
関連論文リスト
- A Good Foundation is Worth Many Labels: Label-Efficient Panoptic Segmentation [22.440065488051047]
ロボット知覚に学習ベースのモデルを広く応用する上での課題は、注釈付きトレーニングデータの必要量を大幅に削減することである。
視覚基礎モデルにより舗装された基礎を生かし、セマンティックセグメンテーションとオブジェクト境界検出のために2つの軽量ネットワークヘッドを訓練する。
PASTELはアノテーションが少なくてもラベル効率の良いセグメンテーションの手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-05-29T12:23:29Z) - Investigating Large Language Models and Control Mechanisms to Improve Text Readability of Biomedical Abstracts [16.05119302860606]
本稿では,生物医学的抽象的単純化作業における最先端の大規模言語モデル(LLM)の能力について検討する。
適用方法はドメインファインチューニングとプロンプトベースラーニング(PBL)である。
BLEU,ROUGE,SARI,BERTscoreなど,さまざまな自動評価指標を用い,人的評価を行った。
論文 参考訳（メタデータ） (2023-09-22T22:47:32Z) - Augment and Criticize: Exploring Informative Samples for Semi-Supervised
Monocular 3D Object Detection [64.65563422852568]
我々は、一般的な半教師付きフレームワークを用いて、難解な単分子3次元物体検出問題を改善する。
我々は、ラベルのないデータから豊富な情報的サンプルを探索する、新しい、シンプルで効果的なAugment and Criticize'フレームワークを紹介します。
3DSeMo_DLEと3DSeMo_FLEXと呼ばれる2つの新しい検出器は、KITTIのAP_3D/BEV(Easy)を3.5%以上改善した。
論文 参考訳（メタデータ） (2023-03-20T16:28:15Z) - BERT-Flow-VAE: A Weakly-supervised Model for Multi-Label Text
Classification [0.5156484100374058]
本稿では,全監督の必要性を低減させる多ラベルテキスト分類モデルであるBERT-Flow-VAE(BFV)を提案する。
6つのマルチラベルデータセットの実験結果から、BFVは他のベースラインWSMLTCモデルをキーメトリクスで大幅に上回る結果が得られた。
論文 参考訳（メタデータ） (2022-10-27T07:18:56Z) - Semi-supervised 3D Object Detection with Proficient Teachers [114.54835359657707]
自律運転のシナリオにおけるクラウドベースの3Dオブジェクト検出器の優位性は、大量の正確なラベル付きサンプルに大きく依存している。
Pseudo-Labeling法はSSLフレームワークで一般的に使用されているが、教師モデルの低品質な予測は、その性能を著しく制限している。
そこで本研究では,教師モデルをさらに高度化することで,半教師付き3次元物体検出のためのPseudo-Labelingフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-26T04:54:03Z) - Which Student is Best? A Comprehensive Knowledge Distillation Exam for
Task-Specific BERT Models [3.303435360096988]
タスク固有のBERTベースの教師モデルから様々な学生モデルへの知識蒸留ベンチマークを行う。
インドネシア語でテキスト分類とシークエンスラベリングという2つのタスクでグループ化された12のデータセットについて実験を行った。
実験の結果, トランスフォーマーモデルの普及にもかかわらず, BiLSTM と CNN の学生モデルを用いることで, 性能と計算資源の最良のトレードオフが得られることがわかった。
論文 参考訳（メタデータ） (2022-01-03T10:07:13Z) - Novel Class Discovery in Semantic Segmentation [104.30729847367104]
セマンティックにおける新しいクラス発見(NCDSS)について紹介する。
ラベル付き非結合クラスの集合から事前の知識を与えられた新しいクラスを含むラベル付きイメージのセグメンテーションを目的としている。
NCDSSでは、オブジェクトと背景を区別し、画像内の複数のクラスの存在を処理する必要があります。
本稿では,エントロピーに基づく不確実性モデリングと自己学習(EUMS)フレームワークを提案し,ノイズの多い擬似ラベルを克服する。
論文 参考訳（メタデータ） (2021-12-03T13:31:59Z) - A Hybrid Approach to Measure Semantic Relatedness in Biomedical Concepts [0.0]
ELMo, BERT, Sentence BERTモデルを用いて概念優先項を符号化して概念ベクトルを生成した。
SNLIおよびSTSbデータセット上でSiameseネットワークを使用してすべてのBERTモデルをトレーニングし、モデルがセマンティック情報を学ぶことができるようにしました。
概念ベクトルにオントロジー知識を注入すると、その品質がさらに向上し、関連性のスコアが向上する。
論文 参考訳（メタデータ） (2021-01-25T16:01:27Z) - Learning Contextual Representations for Semantic Parsing with
Generation-Augmented Pre-Training [86.91380874390778]
本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。
実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
論文 参考訳（メタデータ） (2020-12-18T15:53:50Z) - KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。
我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。
ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
論文 参考訳（メタデータ） (2020-10-05T19:59:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。