Fugu-MT 論文翻訳(概要): Classifying Long Clinical Documents with Pre-trained Transformers

論文の概要: Classifying Long Clinical Documents with Pre-trained Transformers

arxiv url: http://arxiv.org/abs/2105.06752v1
Date: Fri, 14 May 2021 10:24:58 GMT
ステータス: 処理完了
システム内更新日: 2021-05-17 18:17:52.037913
Title: Classifying Long Clinical Documents with Pre-trained Transformers
Title（参考訳）: 変圧器による長期臨床文書の分類
Authors: Xin Su, Timothy Miller, Xiyu Ding, Majid Afshar and Dmitriy Dligach
Abstract要約: 表現型付けは通常、数千のトークンを含む長い臨床文書を分類する。最新のトランスフォーマーベースのプリトレーニング言語モデルは、入力を数百トークンに制限します。臨床テキストの文書レベル表現に事前学習文エンコーダを組み込むためのいくつかの戦略を評価する。
参考スコア（独自算出の注目度）: 4.841752519292994
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Automatic phenotyping is a task of identifying cohorts of patients that match a predefined set of criteria. Phenotyping typically involves classifying long clinical documents that contain thousands of tokens. At the same time, recent state-of-art transformer-based pre-trained language models limit the input to a few hundred tokens (e.g. 512 tokens for BERT). We evaluate several strategies for incorporating pre-trained sentence encoders into document-level representations of clinical text, and find that hierarchical transformers without pre-training are competitive with task pre-trained models.
Abstract（参考訳）: オートマチック・フェノタイピング(Automatic phenotyping)は、予め定義された基準に適合する患者のコホートを特定するタスクである。表現型付けは通常、数千のトークンを含む長い臨床文書を分類する。同時に、最近の最先端のトランスフォーマーベースの事前訓練言語モデルでは、入力を数百トークン(例)に制限している。 BERTのトークンは512個)。臨床テキストの文書レベル表現に事前学習文エンコーダを組み込むためのいくつかの戦略を評価し,事前学習のない階層的トランスフォーマーがタスク事前学習モデルと競合することを見出した。

関連論文リスト

Blueprinting the Future: Automatic Item Categorization using Hierarchical Zero-Shot and Few-Shot Classifiers [6.907552533477328]
本研究では,ゼロショットおよび少数ショット生成事前学習変換器(GPT)を用いた階層的項目分類手法を提案する。検査ブループリントの階層的な性質はシームレスにナビゲートされ、複数のレベルの項目を階層的に分類することができる。人工データによる初期シミュレーションは、この方法の有効性を示し、F1スコアで測定された平均精度92.91%を達成する。
論文参考訳（メタデータ） (2023-12-06T15:51:49Z)
Unlocking the Transferability of Tokens in Deep Models for Tabular Data [67.11727608815636]
トレーニング済みのディープニューラルネットワークの微調整は、さまざまな機械学習タスクにおいて成功しているパラダイムとなっている。本稿では,特徴トークンの品質向上を目的としたTabTokenを提案する。トークンを規則化し、機能内および機能間のセマンティクスをキャプチャする、対照的な目的を導入します。
論文参考訳（メタデータ） (2023-10-23T17:53:09Z)
A Comparative Study of Pretrained Language Models for Long Clinical Text [4.196346055173027]
大規模臨床コーパスで事前訓練した2つのドメイン富化言語モデル, クリニカル・ロングフォーマーとクリニカル・ビッグバードを紹介した。名前付きエンティティ認識、質問応答、自然言語推論、文書分類タスクを含む10のベースラインタスクを用いて、両方の言語モデルを評価する。
論文参考訳（メタデータ） (2023-01-27T16:50:29Z)
Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
論文参考訳（メタデータ） (2022-05-02T21:41:14Z)
Detecting Text Formality: A Study of Text Classification Approaches [78.11745751651708]
本研究は,統計的,ニューラルベース,トランスフォーマーベースの機械学習手法に基づく形式性検出手法の体系的研究を初めて行う。単言語,多言語,言語横断の3種類の実験を行った。本研究は,モノリンガルおよび多言語形式分類タスクのためのトランスフォーマーベースモデルに対するChar BiLSTMモデルの克服を示す。
論文参考訳（メタデータ） (2022-04-19T16:23:07Z)
The GINCO Training Dataset for Web Genre Identification of Documents Out in the Wild [0.0]
データセットは、機械翻訳コンテンツ、エンコーディングエラー、ひとつのドキュメントに表示される複数のコンテンツなど、Webベースのデータに関連するさまざまな課題で構成されている。最初の機械学習実験では、(1)トランスフォーマー前のモデルでは0.22程度のマクロF1メトリクスで現象をモデル化することができず、(2)トランスフォーマーベースのモデルは0.58のスコアを獲得し、(2)マルチリンガルトランスフォーマーモデルは、標準NLPタスクのマルチリンガルモデルよりも優れていることが証明されたモノリンガルモデルと同様にタスク上でも動作することを示した。
論文参考訳（メタデータ） (2022-01-11T09:39:15Z)
Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
論文参考訳（メタデータ） (2021-08-31T19:39:55Z)
Learning to Look Inside: Augmenting Token-Based Encoders with Character-Level Information [29.633735942273997]
XRayEmbは、既存のトークンベースのモデルに文字レベルの情報を適合させる手法である。我々は,XRayEmbの学習ベクトルを事前学習されたトークン埋め込みのシーケンスに組み込むことで,自己回帰型およびマスク付き事前学習されたトランスフォーマーアーキテクチャの性能を向上させることを示す。
論文参考訳（メタデータ） (2021-08-01T08:09:26Z)
Hierarchical Transformer Networks for Longitudinal Clinical Document Classification [5.670490259188555]
このネットワークは、3段階のトランスフォーマーベースのエンコーダを備えており、単語から文、文から音まで徐々に学習し、最終的に患者に注記する。従来のBERTモデルと比較して,本モデルでは, 512語から, 長い臨床書面列に適した長いシーケンスへと, 最大入力長を増大させる。予測タスクが異なるMIMIC-IIIデータセットに対する実験結果から,提案した階層モデルが従来の階層型ニューラルネットワークより優れていることが示された。
論文参考訳（メタデータ） (2021-04-17T04:45:52Z)
Is BERT a Cross-Disciplinary Knowledge Learner? A Surprising Finding of Pre-trained Models' Transferability [74.11825654535895]
BERTなどのテキストデータに予め訓練されたモデルのパワーを、一般的なトークンシーケンス分類アプリケーションに転送できるかどうかを検討します。テキスト以外のデータでも、テキストに事前学習されたモデルはランダムなモデルよりも高速に収束する。
論文参考訳（メタデータ） (2021-03-12T09:19:14Z)
Text Classification with Few Examples using Controlled Generalization [58.971750512415134]
現在の実践は、トレーニング中に見えない単語を、類似した単語とマッピングするために、事前訓練された単語埋め込みに依存している。私たちの代替案は、未ラベルのパースコーパスから派生したスパース事前訓練された表現から始まります。これらのベクトル上のフィードフォワードネットワークは、特に低データシナリオにおいて有効であることを示す。
論文参考訳（メタデータ） (2020-05-18T06:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。