論文の概要: Clinical-Longformer and Clinical-BigBird: Transformers for long clinical
sequences
- arxiv url: http://arxiv.org/abs/2201.11838v1
- Date: Thu, 27 Jan 2022 22:51:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 09:57:28.242077
- Title: Clinical-Longformer and Clinical-BigBird: Transformers for long clinical
sequences
- Title（参考訳）: 臨床用長手および臨床用大鳥型トランスフォーマー : 臨床用長手型トランスフォーマー
- Authors: Yikuan Li, Ramsey M. Wehbe, Faraz S. Ahmad, Hanyin Wang and Yuan Luo
- Abstract要約: BERTのようなトランスフォーマーベースのモデルは、様々な自然言語処理タスクのパフォーマンスを劇的に改善した。
これらの変圧器の中核となる制限の一つは、完全な自己保持機構のため、メモリ消費の大幅な増加である。
大規模臨床コーパスから事前学習した2つのドメイン強化言語モデル,すなわちCLI(CLI)-LongformerとCLI(CLI)-BigBirdを導入する。
- 参考スコア（独自算出の注目度）: 4.196346055173027
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers-based models, such as BERT, have dramatically improved the
performance for various natural language processing tasks. The clinical
knowledge enriched model, namely ClinicalBERT, also achieved state-of-the-art
results when performed on clinical named entity recognition and natural
language inference tasks. One of the core limitations of these transformers is
the substantial memory consumption due to their full self-attention mechanism.
To overcome this, long sequence transformer models, e.g. Longformer and
BigBird, were proposed with the idea of sparse attention mechanism to reduce
the memory usage from quadratic to the sequence length to a linear scale. These
models extended the maximum input sequence length from 512 to 4096, which
enhanced the ability of modeling long-term dependency and consequently achieved
optimal results in a variety of tasks. Inspired by the success of these long
sequence transformer models, we introduce two domain enriched language models,
namely Clinical-Longformer and Clinical-BigBird, which are pre-trained from
large-scale clinical corpora. We evaluate both pre-trained models using 10
baseline tasks including named entity recognition, question answering, and
document classification tasks. The results demonstrate that Clinical-Longformer
and Clinical-BigBird consistently and significantly outperform ClinicalBERT as
well as other short-sequence transformers in all downstream tasks. We have made
the pre-trained models available for public download at:
[https://huggingface.co/yikuan8/Clinical-Longformer].
- Abstract（参考訳）: BERTのようなトランスフォーマーベースのモデルは、様々な自然言語処理タスクのパフォーマンスを劇的に改善した。
臨床知識強化モデル、すなわち臨床バートは、臨床名付きエンティティ認識および自然言語推論タスクにおいて最先端の結果を得た。
これらのトランスフォーマーの最大の制限の1つは、完全な自己着脱機構によるメモリ消費である。
これを解決するために、LongformerやBigBirdといったロングシーケンストランスフォーマーモデルは、メモリ使用量を2次から線形スケールに短縮するスパースアテンション機構を考案した。
これらのモデルは最大入力シーケンス長を512から4096に拡張し、長期依存をモデル化し、様々なタスクで最適な結果を得ることができた。
これらの長列トランスフォーマモデルの成功に触発されて,大規模臨床コーパスから事前学習された臨床長手型言語モデルと臨床長手型言語モデルを導入した。
本研究は、名前付きエンティティ認識、質問応答、文書分類タスクを含む10のベースラインタスクを用いて、事前訓練されたモデルの両方を評価する。
以上の結果から, 臨床上, 臨床上, 臨床上, 臨床上, 臨床上, 臨床上, 臨床上において有意な差がみられた。
トレーニング済みのモデルについては、[https://huggingface.co/yikuan8/Clinical-Longformer]でパブリックダウンロードで公開しています。
関連論文リスト
- Adaptation of Biomedical and Clinical Pretrained Models to French Long
Documents: A Comparative Study [4.042419725040222]
BERTに基づく事前訓練された言語モデルは、フランスの生物医学領域に導入されている。
これらのモデルは512トークンの入力シーケンスの長さに制限されており、臨床記録に適用した場合に課題が生じる。
本稿では,Longformerアーキテクチャを利用した長周期モデルに対する3つの適応戦略の比較研究を行う。
論文 参考訳（メタデータ） (2024-02-26T16:05:33Z) - Learning to Grow Pretrained Models for Efficient Transformer Training [72.20676008625641]
そこでは、より小さなモデルのパラメータを線形にマッピングして、より大きなモデルを初期化する。
言語と視覚のトランスフォーマーをまたいだ実験では、学習した線形成長演算子(LiGO)が、スクラッチから最大50%の計算コストを節約できることが示されています。
論文 参考訳（メタデータ） (2023-03-02T05:21:18Z) - Lightweight Transformers for Clinical Natural Language Processing [9.532776962985828]
本研究は,臨床テキスト処理のためのコンパクト言語モデルの開発に焦点をあてる。
知識蒸留と連続学習を用いた多種多様な軽量臨床用変圧器を開発した。
評価はいくつかの標準データセットにまたがって行われ、幅広い臨床テキストマイニングタスクをカバーした。
論文 参考訳（メタデータ） (2023-02-09T16:07:31Z) - A Comparative Study of Pretrained Language Models for Long Clinical Text [4.196346055173027]
大規模臨床コーパスで事前訓練した2つのドメイン富化言語モデル, クリニカル・ロングフォーマーとクリニカル・ビッグバードを紹介した。
名前付きエンティティ認識、質問応答、自然言語推論、文書分類タスクを含む10のベースラインタスクを用いて、両方の言語モデルを評価する。
論文 参考訳（メタデータ） (2023-01-27T16:50:29Z) - How Long Is Enough? Exploring the Optimal Intervals of Long-Range
Clinical Note Language Modeling [37.247872987053654]
大規模事前訓練言語モデル(LM)は、生物医学および臨床領域で広く採用されている。
この研究は、Longformer を用いた LM からの長距離適応を探究し、LM がより長い臨床メモのコンテキストを捉えることを可能にする。
3つのn2c2課題データセットと香港病院電子健康記録システムによる縦断的臨床データセットについて実験を行った。
論文 参考訳（メタデータ） (2022-10-25T09:21:28Z) - A Comparative Evaluation Of Transformer Models For De-Identification Of
Clinical Text Data [0.0]
i2b2/UTHealth 2014 臨床テキスト識別チャレンジコーパスには N=1304 臨床ノートが含まれている。
我々は、BERT-base、BERT-large、ROBERTA-base、ROBERTA-large、ALBERT-base、ALBERT-xxlargeなど、いくつかのトランスフォーマーモデルアーキテクチャをコーパス上に微調整する。
モデルの性能を,精度,精度(正の予測値),リコール(感度),F1スコアで評価する。
論文 参考訳（メタデータ） (2022-03-25T19:42:03Z) - STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。
実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
論文 参考訳（メタデータ） (2021-07-15T02:53:11Z) - A multi-stage machine learning model on diagnosis of esophageal
manometry [50.591267188664666]
このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。
これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
論文 参考訳（メタデータ） (2021-06-25T20:09:23Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳（メタデータ） (2020-09-02T02:50:30Z) - Predicting Clinical Diagnosis from Patients Electronic Health Records
Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。
本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。
約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文 参考訳（メタデータ） (2020-07-15T09:22:55Z) - MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression
of Pre-Trained Transformers [117.67424061746247]
本稿では,大規模トランスフォーマーをベースとした事前学習モデルの簡易かつ効率的な圧縮手法を提案する。
本稿では,教師の最後のトランスフォーマー層の自己保持モジュールを蒸留することを提案する。
実験結果から, 単言語モデルでは, 学生モデルのパラメータサイズの違いにより, 最先端のベースラインよりも優れた結果が得られた。
論文 参考訳（メタデータ） (2020-02-25T15:21:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。