論文の概要: Lightweight Baselines for Medical Abstract Classification: DistilBERT with Cross-Entropy as a Strong Default

• arxiv url: http://arxiv.org/abs/2510.10025v1
• Date: Sat, 11 Oct 2025 05:05:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.742275
• Title: Lightweight Baselines for Medical Abstract Classification: DistilBERT with Cross-Entropy as a Strong Default
• Title（参考訳）: 医用要約分類のための軽量ベースライン:強いデフォルトとしてクロスエントロピーを持つ DistilBERT
• Authors: Jiaqi Liu, Lanruo Wang, Su Liu, Xin Hu,
• Abstract要約: 我々は医学的抽象分類のための軽量なレシピを再考する。 BERT ベースと DistilBERT に標準クロスエントロピー,クラス重み付きクロスエントロピー,フォーカス損失保持トークン化シーケンス長の3つの目標を付与した。 まず、コンパクトエンコーダとクロスエントロピーから始めて、より重いモデルに移行する前にキャリブレーションとタスク固有のチェックを追加します。
• 参考スコア（独自算出の注目度）: 7.748512494042177
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models work well for many NLP tasks, but they are hard to deploy in health settings with strict cost, latency, and privacy limits. We revisit a lightweight recipe for medical abstract classification and ask how far compact encoders can go under a controlled budget. Using the public medical abstracts corpus, we finetune BERT base and DistilBERT with three objectives standard cross-entropy, class weighted cross entropy, and focal loss keeping tokenizer, sequence length, optimizer, and schedule fixed. DistilBERT with plain cross-entropy gives the best balance on the test set while using far fewer parameters than BERT base. We report accuracy, Macro F1, and Weighted F1, release the evaluation code, and include confusion analyses to make error patterns clear. Our results suggest a practical default: start with a compact encoder and cross-entropy, then add calibration and task-specific checks before moving to heavier models.
• Abstract（参考訳）: 大規模な言語モデルは、多くのNLPタスクでうまく機能するが、厳格なコスト、レイテンシ、プライバシ制限で、ヘルス設定にデプロイすることは困難である。 医用抽象分類のための軽量なレシピを再検討し、コンパクトエンコーダがどの程度の予算で使えるかを問う。 医用抽象体コーパスを用いて,標準クロスエントロピー,クラス重み付きクロスエントロピー,焦点損失保持トークン,シーケンス長,オプティマイザ,スケジュール固定の3つの目標を持つBERTベースとDistilBERTを微調整した。 プレーンなクロスエントロピーを持つ DistilBERT は、BERT ベースよりもはるかに少ないパラメータを使用しながら、テストセット上で最高のバランスを与える。 我々は、Macro F1とWeighted F1の精度を報告し、評価コードをリリースし、エラーパターンを明確にするための混乱解析を含む。 まず、コンパクトエンコーダとクロスエントロピーから始めて、より重いモデルに移行する前にキャリブレーションとタスク固有のチェックを追加します。

関連論文リスト

• Suppressing Prior-Comparison Hallucinations in Radiology Report Generation via Semantically Decoupled Latent Steering [94.37535002230504]
  本研究では,Semantically Decoupled Latent Steeringと呼ばれる学習自由な推論時間制御フレームワークを開発した。 提案手法は,大言語モデル (LLM) による意味分解による意味のない介入ベクトルを構築する。 本手法は歴史的幻覚の可能性を著しく低下させることを示す。
  論文  参考訳（メタデータ） (2026-02-27T04:49:01Z)
• LATA: Laplacian-Assisted Transductive Adaptation for Conformal Uncertainty in Medical VLMs [61.06744611795341]
  医用視覚言語モデル(VLM)は医用画像の強力なゼロショット認識器である。 本研究では,ラプラシアン支援トランスダクティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ(texttttextbfLATA,ラプラシアン支援トランスダクティブ・アダプティブ・アダプティブ・アダプティブ)を提案する。 texttttextbfLATAは交換性を損なうことなくゼロショット予測をシャープにする。
  論文  参考訳（メタデータ） (2026-02-19T16:45:38Z)
• Finally Outshining the Random Baseline: A Simple and Effective Solution for Active Learning in 3D Biomedical Imaging [8.59770603829962]
  ClaSP PE(Class-stratified Scheduled Power Predictive Entropy)を導入する。 ClaSP PEは、標準的な不確実性に基づくアクティブラーニングメソッドの2つの重要な制限に対処する、シンプルで効果的なクエリ戦略である。 AL法が3次元セグメンテーションに適応したランダムベースラインを一貫して上回り得ることを示す。
  論文  参考訳（メタデータ） (2026-01-20T07:29:50Z)
• PharmaShip: An Entity-Centric, Reading-Order-Supervised Benchmark for Chinese Pharmaceutical Shipping Documents [18.836762489296103]
  PharmaShipは、実世界の中国のスキャンされた医薬品の出荷文書のデータセットです。 PharmaShipは、ノイズの多いOCRとヘテロジニアステンプレートの下で、事前訓練されたテキスト指向モデルをストレステストするために設計されている。
  論文  参考訳（メタデータ） (2025-11-29T06:55:45Z)
• Ordinal Label-Distribution Learning with Constrained Asymmetric Priors for Imbalanced Retinal Grading [9.147336466586017]
  糖尿病網膜症は、本質的には順序性で長い尾を持つ。 制約付き非対称先行ワッサースタインオートエンコーダ(CAP-WAE)を提案する。 CAP-WAEは、最先端の4重み付きカッパ、精度、マクロF1を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-30T11:58:49Z)
• Test-time Adaptation for Foundation Medical Segmentation Model without Parametric Updates [27.933665582178115]
  基礎医療セグメンテーションモデルは、MedSAMが最も人気があり、臓器や病変をまたいで有望なパフォーマンスを実現している。 MedSAMは、複雑な構造と外観を持つ特定の病変に対する妥協されたパフォーマンスと、バウンディングボックスのプロンプトによる摂動に悩まされている。 本稿では,分布近似型潜在条件付きランダム場損失とエントロピー最小化損失を併用して,後続予測確率の因子化条件付き確率を最大化する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-02T03:03:34Z)
• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
  より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。 離散選択問題を連続的な部分集合最適化フレームワークに変換する。 両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
  論文  参考訳（メタデータ） (2025-02-14T12:35:21Z)
• Establish seedling quality classification standard for Chrysanthemum efficiently with help of deep clustering algorithm [0.0]
  現在のグレーディング法にはいくつかの問題がある。 苗レベルを評価するために選択された指標は、適用範囲が狭い。 いくつかの方法は数学的公式を誤用する。 本稿では,品質分類基準を確立するための,シンプルで効率的で汎用的なフレームワークであるSQCSEFを提案する。
  論文  参考訳（メタデータ） (2024-09-12T03:09:11Z)
• How to Prune Your Language Model: Recovering Accuracy on the "Sparsity May Cry'' Benchmark [60.72725673114168]
  下流データセットの微調整中における正確なBERTプルーニングの問題を再考する。 そこで我々は,SMCベンチマークの挑戦においても,プルーニングを成功させるための一般的なガイドラインを提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:11:30Z)
• Revisiting Cephalometric Landmark Detection from the view of Human Pose Estimation with Lightweight Super-Resolution Head [11.40242574405714]
  提案手法は,MMPose として知られるヒューマノイドポーズ推定(HPE)に基づくベンチマークである。 パフォーマンスをさらに向上するために、フレームワーク内にアップスケーリング設計を導入します。 MICCAI CLDetection2023では,3つの指標で1位,残る1つで3位となった。
  論文  参考訳（メタデータ） (2023-09-29T11:15:39Z)
• Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
  トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。 AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。 提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-03T11:09:13Z)
• Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
  BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。 これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。 本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-30T06:32:47Z)
• Collaborative Label Correction via Entropy Thresholding [22.012654529811904]
  ディープニューラルネットワーク(DNN)は非常にノイズの多いラベルに適合する能力を持つ。 彼らはまずクリーンなラベルでデータを学び、次にノイズの多いラベルで記憶する傾向があります。 与えられたしきい値によって決定される低エントロピー予測は、元のノイズラベルよりもずっと信頼性が高いことを示す。
  論文  参考訳（メタデータ） (2021-03-31T11:42:55Z)
• Active Learning to Classify Macromolecular Structures in situ for Less Supervision in Cryo-Electron Tomography [18.97783153971551]
  大規模非ラベル付きサブトモグラムプールからラベル作成のためのサブトモグラムをクエリするためのフレームワークを提案する。 HALは不確実サンプリングを採用し、最も不確実な予測を持つサブトモグラムを選択する。 halはクエリセットの多様性を改善するためにサブセットサンプリング戦略を導入している。
  論文  参考訳（メタデータ） (2021-02-24T03:10:32Z)
• Deep Learning for Virtual Screening: Five Reasons to Use ROC Cost Functions [80.12620331438052]
  深層学習は サイリコの何十億もの分子を 迅速にスクリーニングする 重要なツールとなりました その重要性にもかかわらず、厳密なクラス不均衡、高い決定しきい値、いくつかのデータセットにおける基底真理ラベルの欠如など、これらのモデルのトレーニングにおいて重大な課題が続いている。 このような場合、クラス不均衡に対するロバスト性から、レシーバ動作特性(ROC)を直接最適化することを好んで論じる。
  論文  参考訳（メタデータ） (2020-06-25T08:46:37Z)
• Students Need More Attention: BERT-based AttentionModel for Small Data with Application to AutomaticPatient Message Triage [65.7062363323781]
  BioBERT (Bidirectional Representations from Transformers for Biomedical Text Mining) に基づく新しいフレームワークを提案する。 LESA-BERTと呼ぶBERTの各層にラベル埋め込みを導入し、(ii)LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指す。 アプリケーションとして,本フレームワークを用いて,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度,緊急度という3つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2020-06-22T03:39:00Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。