論文の概要: ModernBERT is More Efficient than Conventional BERT for Chest CT Findings Classification in Japanese Radiology Reports

• arxiv url: http://arxiv.org/abs/2503.05060v1
• Date: Fri, 07 Mar 2025 00:28:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:22:27.289283
• Title: ModernBERT is More Efficient than Conventional BERT for Chest CT Findings Classification in Japanese Radiology Reports
• Title（参考訳）: 胸部CT検査におけるModernBERTの有用性
• Authors: Yosuke Yamagishi, Tomohiro Kikuchi, Shouhei Hanaoka, Takeharu Yoshikawa, Osamu Abe,
• Abstract要約: 両言語モデルにおける経時的双方向表現(BERT)と,より新しいModernBERT-inによる胸部CT所見との比較を行った。 ModernBERTは、BERT Baseよりも24.0%少ないトークン化効率を示した。 これらの効率向上にもかかわらず、分類性能は同等であり、ModernBERTはF1スコアを8条件で上回ったが、BERTは4条件で上回った。
• 参考スコア（独自算出の注目度）: 0.19972837513980313
• License:
• Abstract: Objective: This study aims to evaluate and compare the performance of two Japanese language models-conventional Bidirectional Encoder Representations from Transformers (BERT) and the newer ModernBERT-in classifying findings from chest CT reports, with a focus on tokenization efficiency, processing time, and classification performance. Methods: We conducted a retrospective study using the CT-RATE-JPN dataset containing 22,778 training reports and 150 test reports. Both models were fine-tuned for multi-label classification of 18 common chest CT conditions. The training data was split in 18,222:4,556 for training and validation. Performance was evaluated using F1 scores for each condition and exact match accuracy across all 18 labels. Results: ModernBERT demonstrated superior tokenization efficiency, requiring 24.0% fewer tokens per document (258.1 vs. 339.6) compared to BERT Base. This translated to significant performance improvements, with ModernBERT completing training in 1877.67 seconds versus BERT's 3090.54 seconds (39% reduction). ModernBERT processed 38.82 samples per second during training (1.65x faster) and 139.90 samples per second during inference (1.66x faster). Despite these efficiency gains, classification performance remained comparable, with ModernBERT achieving superior F1 scores in 8 conditions, while BERT performed better in 4 conditions. Overall exact match accuracy was slightly higher for ModernBERT (74.67% vs. 72.67%), though this difference was not statistically significant (p=0.6291). Conclusion: ModernBERT offers substantial improvements in tokenization efficiency and training speed without sacrificing classification performance. These results suggest that ModernBERT is a promising candidate for clinical applications in Japanese radiology reports analysis.
• Abstract（参考訳）: 目的: 本研究の目的は, コンベンショナル双方向エンコーダ表現(BERT)と, 胸部CTレポートから得られた新しいModernBERT-in分類結果を, トークン化効率, 処理時間, 分類性能に焦点をあてて評価し, 比較することである。 方法: CT-RATE-JPNデータセットを用いて,22,778件の研修報告と150件の試験報告を含む振り返り調査を行った。 両モデルとも, 胸部CT18条件のマルチラベル分類のための微調整を行った。 トレーニングデータはトレーニングと検証のために18,222:4,556に分割された。 各条件のF1スコアと18ラベルの正確な一致精度を用いて評価した。 結果: ModernBERT は BERT Base よりも 24.0% 少ないトークン化効率 (258.1 対 339.6 ) を必要とした。 この結果、ModernBERTは1877.67秒のトレーニングを完了し、BERTの3090.54秒(39%の削減)に換算した。 ModernBERTはトレーニング中に毎秒38.82サンプル(1.65倍高速)、推論中に毎秒129.90サンプル(1.66倍高速)を処理した。 これらの効率向上にもかかわらず、分類性能は同等であり、ModernBERTはF1スコアを8条件で達成し、BERTは4条件で改善した。 総合的な一致精度はModernBERT(74.67%対72.67%)ではわずかに高かったが、この差は統計的に有意ではなかった(p=0.6291)。 結論: ModernBERTは、分類性能を犠牲にすることなく、トークン化効率とトレーニング速度を大幅に改善する。 以上の結果から,ModernBERTが臨床応用の候補となる可能性が示唆された。

関連論文リスト

• Strengthening Fake News Detection: Leveraging SVM and Sophisticated Text Vectorization Techniques. Defying BERT? [0.0]
  本研究では,機械学習と自然言語処理,具体的にはSVM(Support Vector Machines)とBERTを用いて,偽ニュースを検出する。 実ニュースと偽ニュースを区別する上での有効性を評価するために, TF-IDF(Term Frequency Inverse Document Frequency), Word2Vec(Word2Vec), Bag of Words(BoW)の3つの異なるテキストベクトル化手法を用いる。
  論文  参考訳（メタデータ） (2024-11-19T18:15:46Z)
• Breaking the Token Barrier: Chunking and Convolution for Efficient Long Text Classification with BERT [0.0]
  変換器ベースのモデル、特にBERTは様々なNLPタスクの研究を推進している。 BERTモデルは512トークンの最大トークン制限に制限されているため、長い入力で実際に適用するのは簡単ではない。 本稿では,任意の事前学習したモデルを任意に長文で推論できるような,比較的単純なBanilla BERTアーキテクチャであるChunkBERTを提案する。
  論文  参考訳（メタデータ） (2023-10-31T15:41:08Z)
• oBERTa: Improving Sparse Transfer Learning via improved initialization, distillation, and pruning regimes [82.99830498937729]
  oBERTaは自然言語処理のための使いやすい言語モデルのセットです。 NLPの実践者はモデル圧縮の専門知識なしで3.8倍から24.3倍の高速モデルを得ることができる。 代表的な7つのNLPタスクにおけるoBERTaの利用について検討する。
  論文  参考訳（メタデータ） (2023-03-30T01:37:19Z)
• Exploring the Value of Pre-trained Language Models for Clinical Named Entity Recognition [6.917786124918387]
  我々は、スクラッチからトレーニングされたTransformerモデルと、細調整されたBERTベースのLLMを比較した。 文脈学習を促進するために,追加のCRF層がそのようなモデルに与える影響を検討する。
  論文  参考訳（メタデータ） (2022-10-23T16:27:31Z)
• BiBERT: Accurate Fully Binarized BERT [69.35727280997617]
  BiBERTは、パフォーマンスボトルネックを取り除くために、正確に2項化されたBERTである。 提案手法は,FLOPとモデルサイズで56.3回,31.2回節約できる。
  論文  参考訳（メタデータ） (2022-03-12T09:46:13Z)
• Towards Efficient NLP: A Standard Evaluation and A Strong Baseline [55.29756535335831]
  本研究は, ELUE (Efficient Language Understanding Evaluation) と標準評価, 効率的なNLPモデルのための公開リーダボードを提案する。 ベンチマークとともに、強いベースラインであるElasticBERTの事前トレーニングとリリースも行います。
  論文  参考訳（メタデータ） (2021-10-13T21:17:15Z)
• TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
  本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-27T10:17:28Z)
• DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
  2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。 これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
  論文  参考訳（メタデータ） (2020-06-05T19:54:34Z)
• Language Representation Models for Fine-Grained Sentiment Classification [2.1664197735413824]
  その結果、AlBERTは他のタスクよりもはるかに精度の低下を被っているのに対し、DistilBERTは他のタスクよりも精度の低下を被っていることがわかった。 我々は、RoBERTaがSST-5ルートレベル(60.2%)の予測のための新しい最先端の精度に達することを結論付けた。
  論文  参考訳（メタデータ） (2020-05-27T20:01:56Z)
• DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference [69.93692147242284]
  BERTのような大規模事前訓練型言語モデルは、NLPアプリケーションに大幅な改善をもたらした。 本稿では, BERT推論を高速化するために, 単純だが効果的な手法であるDeeBERTを提案する。 実験の結果、DeeBERTはモデル品質の低下を最小限に抑えながら、最大40%の推論時間を節約できることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T17:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。