論文の概要: Lightweight Baselines for Medical Abstract Classification: DistilBERT with Cross-Entropy as a Strong Default

• arxiv url: http://arxiv.org/abs/2510.10025v2
• Date: Tue, 21 Oct 2025 14:44:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:11.137338
• Title: Lightweight Baselines for Medical Abstract Classification: DistilBERT with Cross-Entropy as a Strong Default
• Title（参考訳）: 医用要約分類のための軽量ベースライン:強いデフォルトとしてクロスエントロピーを持つ DistilBERT
• Authors: Jiaqi Liu, Tong Wang, Su Liu, Xin Hu, Ran Tong, Lanruo Wang, Jiexi Xu,
• Abstract要約: 本研究は, 医療抽象分類法を軽量に評価し, 財政予算の制約下での最大性能の確立を図った。 CE, クラス重み付きCE, 同一トークン化, シーケンス長, スケジュールによる焦点損失の3つの目的を持つBERTベースとDistil BERTを微調整した。
• 参考スコア（独自算出の注目度）: 8.496659173445655
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The research evaluates lightweight medical abstract classification methods to establish their maximum performance capabilities under financial budget restrictions. On the public medical abstracts corpus, we finetune BERT base and Distil BERT with three objectives cross entropy (CE), class weighted CE, and focal loss under identical tokenization, sequence length, optimizer, and schedule. DistilBERT with plain CE gives the strongest raw argmax trade off, while a post hoc operating point selection (validation calibrated, classwise thresholds) sub stantially improves deployed performance; under this tuned regime, focal benefits most. We report Accuracy, Macro F1, and WeightedF1, release evaluation artifacts, and include confusion analyses to clarify error structure. The practical takeaway is to start with a compact encoder and CE, then add lightweight calibration or thresholding when deployment requires higher macro balance.
• Abstract（参考訳）: 本研究は, 医療抽象分類法を軽量に評価し, 財政予算の制約下での最大性能の確立を図った。 医用要約コーパスでは,クロスエントロピー(CE),クラス重みCE,同一のトークン化,シーケンス長,オプティマイザ,スケジュール下の焦点損失の3つの目的を持つBERTベースとDistil BERTを微調整した。 通常のCEによる DistilBERT は、最も強力な生のargmax のトレードオフを与える一方、ポストホック操作点選択(バリデーション校正、クラスワイドの閾値)は、配置性能を安定的に改善する。 本報告では, 精度, マクロF1, 重み付けF1, リリース評価アーティファクトについて報告する。 現実的なポイントは、コンパクトエンコーダとCEから始めて、デプロイがマクロバランスを高くする必要がある場合、軽量なキャリブレーションやしきい値設定を追加することである。

関連論文リスト

• Ordinal Label-Distribution Learning with Constrained Asymmetric Priors for Imbalanced Retinal Grading [9.147336466586017]
  糖尿病網膜症は、本質的には順序性で長い尾を持つ。 制約付き非対称先行ワッサースタインオートエンコーダ(CAP-WAE)を提案する。 CAP-WAEは、最先端の4重み付きカッパ、精度、マクロF1を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-30T11:58:49Z)
• Test-time Adaptation for Foundation Medical Segmentation Model without Parametric Updates [27.933665582178115]
  基礎医療セグメンテーションモデルは、MedSAMが最も人気があり、臓器や病変をまたいで有望なパフォーマンスを実現している。 MedSAMは、複雑な構造と外観を持つ特定の病変に対する妥協されたパフォーマンスと、バウンディングボックスのプロンプトによる摂動に悩まされている。 本稿では,分布近似型潜在条件付きランダム場損失とエントロピー最小化損失を併用して,後続予測確率の因子化条件付き確率を最大化する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-02T03:03:34Z)
• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
  BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。 これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。 本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-30T06:32:47Z)
• Collaborative Label Correction via Entropy Thresholding [22.012654529811904]
  ディープニューラルネットワーク(DNN)は非常にノイズの多いラベルに適合する能力を持つ。 彼らはまずクリーンなラベルでデータを学び、次にノイズの多いラベルで記憶する傾向があります。 与えられたしきい値によって決定される低エントロピー予測は、元のノイズラベルよりもずっと信頼性が高いことを示す。
  論文  参考訳（メタデータ） (2021-03-31T11:42:55Z)
• Students Need More Attention: BERT-based AttentionModel for Small Data with Application to AutomaticPatient Message Triage [65.7062363323781]
  BioBERT (Bidirectional Representations from Transformers for Biomedical Text Mining) に基づく新しいフレームワークを提案する。 LESA-BERTと呼ぶBERTの各層にラベル埋め込みを導入し、(ii)LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指す。 アプリケーションとして,本フレームワークを用いて,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度,緊急度という3つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2020-06-22T03:39:00Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。