論文の概要: Lightweight Baselines for Medical Abstract Classification: DistilBERT with Cross-Entropy as a Strong Default

• arxiv url: http://arxiv.org/abs/2510.10025v1
• Date: Sat, 11 Oct 2025 05:05:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.742275
• Title: Lightweight Baselines for Medical Abstract Classification: DistilBERT with Cross-Entropy as a Strong Default
• Title（参考訳）: 医用要約分類のための軽量ベースライン:強いデフォルトとしてクロスエントロピーを持つ DistilBERT
• Authors: Jiaqi Liu, Lanruo Wang, Su Liu, Xin Hu,
• Abstract要約: 我々は医学的抽象分類のための軽量なレシピを再考する。 BERT ベースと DistilBERT に標準クロスエントロピー,クラス重み付きクロスエントロピー,フォーカス損失保持トークン化シーケンス長の3つの目標を付与した。 まず、コンパクトエンコーダとクロスエントロピーから始めて、より重いモデルに移行する前にキャリブレーションとタスク固有のチェックを追加します。
• 参考スコア（独自算出の注目度）: 7.748512494042177
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models work well for many NLP tasks, but they are hard to deploy in health settings with strict cost, latency, and privacy limits. We revisit a lightweight recipe for medical abstract classification and ask how far compact encoders can go under a controlled budget. Using the public medical abstracts corpus, we finetune BERT base and DistilBERT with three objectives standard cross-entropy, class weighted cross entropy, and focal loss keeping tokenizer, sequence length, optimizer, and schedule fixed. DistilBERT with plain cross-entropy gives the best balance on the test set while using far fewer parameters than BERT base. We report accuracy, Macro F1, and Weighted F1, release the evaluation code, and include confusion analyses to make error patterns clear. Our results suggest a practical default: start with a compact encoder and cross-entropy, then add calibration and task-specific checks before moving to heavier models.
• Abstract（参考訳）: 大規模な言語モデルは、多くのNLPタスクでうまく機能するが、厳格なコスト、レイテンシ、プライバシ制限で、ヘルス設定にデプロイすることは困難である。 医用抽象分類のための軽量なレシピを再検討し、コンパクトエンコーダがどの程度の予算で使えるかを問う。 医用抽象体コーパスを用いて,標準クロスエントロピー,クラス重み付きクロスエントロピー,焦点損失保持トークン,シーケンス長,オプティマイザ,スケジュール固定の3つの目標を持つBERTベースとDistilBERTを微調整した。 プレーンなクロスエントロピーを持つ DistilBERT は、BERT ベースよりもはるかに少ないパラメータを使用しながら、テストセット上で最高のバランスを与える。 我々は、Macro F1とWeighted F1の精度を報告し、評価コードをリリースし、エラーパターンを明確にするための混乱解析を含む。 まず、コンパクトエンコーダとクロスエントロピーから始めて、より重いモデルに移行する前にキャリブレーションとタスク固有のチェックを追加します。

関連論文リスト

• Ordinal Label-Distribution Learning with Constrained Asymmetric Priors for Imbalanced Retinal Grading [9.147336466586017]
  糖尿病網膜症は、本質的には順序性で長い尾を持つ。 制約付き非対称先行ワッサースタインオートエンコーダ(CAP-WAE)を提案する。 CAP-WAEは、最先端の4重み付きカッパ、精度、マクロF1を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-30T11:58:49Z)
• Test-time Adaptation for Foundation Medical Segmentation Model without Parametric Updates [27.933665582178115]
  基礎医療セグメンテーションモデルは、MedSAMが最も人気があり、臓器や病変をまたいで有望なパフォーマンスを実現している。 MedSAMは、複雑な構造と外観を持つ特定の病変に対する妥協されたパフォーマンスと、バウンディングボックスのプロンプトによる摂動に悩まされている。 本稿では,分布近似型潜在条件付きランダム場損失とエントロピー最小化損失を併用して,後続予測確率の因子化条件付き確率を最大化する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-02T03:03:34Z)
• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
  BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。 これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。 本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-30T06:32:47Z)
• Collaborative Label Correction via Entropy Thresholding [22.012654529811904]
  ディープニューラルネットワーク(DNN)は非常にノイズの多いラベルに適合する能力を持つ。 彼らはまずクリーンなラベルでデータを学び、次にノイズの多いラベルで記憶する傾向があります。 与えられたしきい値によって決定される低エントロピー予測は、元のノイズラベルよりもずっと信頼性が高いことを示す。
  論文  参考訳（メタデータ） (2021-03-31T11:42:55Z)
• Students Need More Attention: BERT-based AttentionModel for Small Data with Application to AutomaticPatient Message Triage [65.7062363323781]
  BioBERT (Bidirectional Representations from Transformers for Biomedical Text Mining) に基づく新しいフレームワークを提案する。 LESA-BERTと呼ぶBERTの各層にラベル埋め込みを導入し、(ii)LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指す。 アプリケーションとして,本フレームワークを用いて,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度,緊急度という3つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2020-06-22T03:39:00Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。