Fugu-MT 論文翻訳(概要): BERT for Long Documents: A Case Study of Automated ICD Coding

論文の概要: BERT for Long Documents: A Case Study of Automated ICD Coding

arxiv url: http://arxiv.org/abs/2211.02519v1
Date: Fri, 4 Nov 2022 15:24:19 GMT
ステータス: 処理完了
システム内更新日: 2022-11-07 15:59:21.489153
Title: BERT for Long Documents: A Case Study of Automated ICD Coding
Title（参考訳）: bert for long documents: 自動icd符号化のケーススタディ
Authors: Arash Afkanpour, Shabir Adeel, Hansenclever Bassani, Arkady Epshteyn, Hongbo Fan, Isaac Jones, Mahan Malihi, Adrian Nauth, Raj Sinha, Sanjana Woonna, Shiva Zamani, Elli Kanal, Mikhail Fomitchev, Donny Cheung
Abstract要約: 本稿では,BERTなどの既存の変換器モデルを用いて,長文の処理をシンプルかつスケーラブルに行う方法を提案する。本手法は,ICD符号化におけるトランスフォーマーモデルに対する従来の結果を大幅に改善し,CNN方式よりも優れていることを示す。
参考スコア（独自算出の注目度）: 0.4148566088629261
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Transformer models have achieved great success across many NLP problems. However, previous studies in automated ICD coding concluded that these models fail to outperform some of the earlier solutions such as CNN-based models. In this paper we challenge this conclusion. We present a simple and scalable method to process long text with the existing transformer models such as BERT. We show that this method significantly improves the previous results reported for transformer models in ICD coding, and is able to outperform one of the prominent CNN-based methods.
Abstract（参考訳）: トランスフォーマーモデルは多くのNLP問題で大きな成功を収めた。しかし、icd符号化の自動化に関する以前の研究は、これらのモデルはcnnベースのモデルのような以前のソリューションを上回ってはいないと結論づけた。本稿では,この結論に挑戦する。本稿では,BERTなどの既存の変換器モデルを用いて,長文の処理をシンプルかつスケーラブルに行う方法を提案する。本手法は,icd符号化においてトランスフォーマーモデルで報告された従来の結果を大幅に改善し,cnnベースの手法よりも優れることを示す。

関連論文リスト

Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
論文参考訳（メタデータ） (2024-07-03T15:01:18Z)
One-Step Diffusion Distillation via Deep Equilibrium Models [64.11782639697883]
本稿では,拡散モデルを初期雑音から得られた画像に直接蒸留する簡易かつ効果的な方法を提案する。本手法は,拡散モデルからノイズ/イメージペアのみによる完全オフライントレーニングを可能にする。 GET は FID スコアの点で 5 倍の ViT と一致するので,DEC アーキテクチャがこの能力に不可欠であることを示す。
論文参考訳（メタデータ） (2023-12-12T07:28:40Z)
Transformer-based approaches to Sentiment Detection [55.41644538483948]
テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
論文参考訳（メタデータ） (2023-03-13T17:12:03Z)
Transformer-based Models for Long-Form Document Matching: Challenges and Empirical Analysis [12.269318291685753]
単純なニューラルネットワークは、より複雑なBERTベースのモデルよりも優れていることを示す。単純なモデルは、文書の長さやテキストの摂動のバリエーションに対して、より堅牢である。
論文参考訳（メタデータ） (2023-02-07T21:51:05Z)
An Exploration of Hierarchical Attention Transformers for Efficient Long Document Classification [37.069127262896764]
ロングフォーマーやビッグバードのようなトランスフォーマーベースのモデルは、長いドキュメントを扱うための一般的なアプローチである。セグメントワイドおよびクロスセグメントエンコーダを用いた完全事前学習型HATモデルの開発とリリースを行う。最高のHATモデルは、GPUメモリを10～20%削減し、文書処理を40～45%高速化しながら、同等の大きさのLongformerモデルより優れています。
論文参考訳（メタデータ） (2022-10-11T15:17:56Z)
Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
論文参考訳（メタデータ） (2021-10-21T13:04:21Z)
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文参考訳（メタデータ） (2021-10-12T22:42:31Z)
Automated essay scoring using efficient transformer-based language models [0.5161531917413708]
Automated Essay Scoring(AES)は、教育、言語学、自然言語処理(NLP)を含む学際的な取り組みです。大規模なプリトレーニングトランスフォーマーベースの言語モデルは、多くのNLPタスクで現在の最先端を支配しています。この論文は、AESに関しては、より大きなNLPのパラダイムに挑むことを目的としています。
論文参考訳（メタデータ） (2021-02-25T19:28:39Z)
DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference [69.93692147242284]
BERTのような大規模事前訓練型言語モデルは、NLPアプリケーションに大幅な改善をもたらした。本稿では, BERT推論を高速化するために, 単純だが効果的な手法であるDeeBERTを提案する。実験の結果、DeeBERTはモデル品質の低下を最小限に抑えながら、最大40%の推論時間を節約できることがわかった。
論文参考訳（メタデータ） (2020-04-27T17:58:05Z)
Compressing Large-Scale Transformer-Based Models: A Case Study on BERT [41.04066537294312]
事前訓練されたTransformerベースのモデルは、様々な自然言語処理(NLP)タスクに対して最先端のパフォーマンスを達成した。これらのモデルは数十億のパラメータを持ち、そのため、リソース不足と計算集約が多すぎて、低機能デバイスやアプリケーションに適合しない。これに対する潜在的な対策の1つはモデル圧縮であり、多くの研究が注目されている。
論文参考訳（メタデータ） (2020-02-27T09:20:31Z)
Stress Test Evaluation of Transformer-based Models in Natural Language Understanding Tasks [3.2442879131520126]
本研究は,自然言語推論(NLI)と質問応答(QA)における3つのトランスフォーマーモデル(RoBERTa,XLNet,BERT)を評価する。実験の結果,RoBERTa,XLNet,BERTはニューラルネットモデルよりも堅牢であり,NLIタスクとQAタスクの両方のストレステストが可能であることがわかった。
論文参考訳（メタデータ） (2020-02-14T21:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。