論文の概要: Lightweight Baselines for Medical Abstract Classification: DistilBERT with Cross-Entropy as a Strong Default

• arxiv url: http://arxiv.org/abs/2510.10025v2
• Date: Tue, 21 Oct 2025 14:44:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:11.137338
• Title: Lightweight Baselines for Medical Abstract Classification: DistilBERT with Cross-Entropy as a Strong Default
• Title（参考訳）: 医用要約分類のための軽量ベースライン:強いデフォルトとしてクロスエントロピーを持つ DistilBERT
• Authors: Jiaqi Liu, Tong Wang, Su Liu, Xin Hu, Ran Tong, Lanruo Wang, Jiexi Xu,
• Abstract要約: 本研究は, 医療抽象分類法を軽量に評価し, 財政予算の制約下での最大性能の確立を図った。 CE, クラス重み付きCE, 同一トークン化, シーケンス長, スケジュールによる焦点損失の3つの目的を持つBERTベースとDistil BERTを微調整した。
• 参考スコア（独自算出の注目度）: 8.496659173445655
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The research evaluates lightweight medical abstract classification methods to establish their maximum performance capabilities under financial budget restrictions. On the public medical abstracts corpus, we finetune BERT base and Distil BERT with three objectives cross entropy (CE), class weighted CE, and focal loss under identical tokenization, sequence length, optimizer, and schedule. DistilBERT with plain CE gives the strongest raw argmax trade off, while a post hoc operating point selection (validation calibrated, classwise thresholds) sub stantially improves deployed performance; under this tuned regime, focal benefits most. We report Accuracy, Macro F1, and WeightedF1, release evaluation artifacts, and include confusion analyses to clarify error structure. The practical takeaway is to start with a compact encoder and CE, then add lightweight calibration or thresholding when deployment requires higher macro balance.
• Abstract（参考訳）: 本研究は, 医療抽象分類法を軽量に評価し, 財政予算の制約下での最大性能の確立を図った。 医用要約コーパスでは,クロスエントロピー(CE),クラス重みCE,同一のトークン化,シーケンス長,オプティマイザ,スケジュール下の焦点損失の3つの目的を持つBERTベースとDistil BERTを微調整した。 通常のCEによる DistilBERT は、最も強力な生のargmax のトレードオフを与える一方、ポストホック操作点選択(バリデーション校正、クラスワイドの閾値)は、配置性能を安定的に改善する。 本報告では, 精度, マクロF1, 重み付けF1, リリース評価アーティファクトについて報告する。 現実的なポイントは、コンパクトエンコーダとCEから始めて、デプロイがマクロバランスを高くする必要がある場合、軽量なキャリブレーションやしきい値設定を追加することである。

関連論文リスト

• Suppressing Prior-Comparison Hallucinations in Radiology Report Generation via Semantically Decoupled Latent Steering [94.37535002230504]
  本研究では,Semantically Decoupled Latent Steeringと呼ばれる学習自由な推論時間制御フレームワークを開発した。 提案手法は,大言語モデル (LLM) による意味分解による意味のない介入ベクトルを構築する。 本手法は歴史的幻覚の可能性を著しく低下させることを示す。
  論文  参考訳（メタデータ） (2026-02-27T04:49:01Z)
• LATA: Laplacian-Assisted Transductive Adaptation for Conformal Uncertainty in Medical VLMs [61.06744611795341]
  医用視覚言語モデル(VLM)は医用画像の強力なゼロショット認識器である。 本研究では,ラプラシアン支援トランスダクティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ・アダプティブ(texttttextbfLATA,ラプラシアン支援トランスダクティブ・アダプティブ・アダプティブ・アダプティブ)を提案する。 texttttextbfLATAは交換性を損なうことなくゼロショット予測をシャープにする。
  論文  参考訳（メタデータ） (2026-02-19T16:45:38Z)
• Finally Outshining the Random Baseline: A Simple and Effective Solution for Active Learning in 3D Biomedical Imaging [8.59770603829962]
  ClaSP PE(Class-stratified Scheduled Power Predictive Entropy)を導入する。 ClaSP PEは、標準的な不確実性に基づくアクティブラーニングメソッドの2つの重要な制限に対処する、シンプルで効果的なクエリ戦略である。 AL法が3次元セグメンテーションに適応したランダムベースラインを一貫して上回り得ることを示す。
  論文  参考訳（メタデータ） (2026-01-20T07:29:50Z)
• PharmaShip: An Entity-Centric, Reading-Order-Supervised Benchmark for Chinese Pharmaceutical Shipping Documents [18.836762489296103]
  PharmaShipは、実世界の中国のスキャンされた医薬品の出荷文書のデータセットです。 PharmaShipは、ノイズの多いOCRとヘテロジニアステンプレートの下で、事前訓練されたテキスト指向モデルをストレステストするために設計されている。
  論文  参考訳（メタデータ） (2025-11-29T06:55:45Z)
• Ordinal Label-Distribution Learning with Constrained Asymmetric Priors for Imbalanced Retinal Grading [9.147336466586017]
  糖尿病網膜症は、本質的には順序性で長い尾を持つ。 制約付き非対称先行ワッサースタインオートエンコーダ(CAP-WAE)を提案する。 CAP-WAEは、最先端の4重み付きカッパ、精度、マクロF1を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-30T11:58:49Z)
• Test-time Adaptation for Foundation Medical Segmentation Model without Parametric Updates [27.933665582178115]
  基礎医療セグメンテーションモデルは、MedSAMが最も人気があり、臓器や病変をまたいで有望なパフォーマンスを実現している。 MedSAMは、複雑な構造と外観を持つ特定の病変に対する妥協されたパフォーマンスと、バウンディングボックスのプロンプトによる摂動に悩まされている。 本稿では,分布近似型潜在条件付きランダム場損失とエントロピー最小化損失を併用して,後続予測確率の因子化条件付き確率を最大化する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-02T03:03:34Z)
• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
  より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。 離散選択問題を連続的な部分集合最適化フレームワークに変換する。 両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
  論文  参考訳（メタデータ） (2025-02-14T12:35:21Z)
• Establish seedling quality classification standard for Chrysanthemum efficiently with help of deep clustering algorithm [0.0]
  現在のグレーディング法にはいくつかの問題がある。 苗レベルを評価するために選択された指標は、適用範囲が狭い。 いくつかの方法は数学的公式を誤用する。 本稿では,品質分類基準を確立するための,シンプルで効率的で汎用的なフレームワークであるSQCSEFを提案する。
  論文  参考訳（メタデータ） (2024-09-12T03:09:11Z)
• How to Prune Your Language Model: Recovering Accuracy on the "Sparsity May Cry'' Benchmark [60.72725673114168]
  下流データセットの微調整中における正確なBERTプルーニングの問題を再考する。 そこで我々は,SMCベンチマークの挑戦においても,プルーニングを成功させるための一般的なガイドラインを提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:11:30Z)
• Revisiting Cephalometric Landmark Detection from the view of Human Pose Estimation with Lightweight Super-Resolution Head [11.40242574405714]
  提案手法は,MMPose として知られるヒューマノイドポーズ推定(HPE)に基づくベンチマークである。 パフォーマンスをさらに向上するために、フレームワーク内にアップスケーリング設計を導入します。 MICCAI CLDetection2023では,3つの指標で1位,残る1つで3位となった。
  論文  参考訳（メタデータ） (2023-09-29T11:15:39Z)
• Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
  トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。 AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。 提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-03T11:09:13Z)
• Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
  BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。 これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。 本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-30T06:32:47Z)
• Collaborative Label Correction via Entropy Thresholding [22.012654529811904]
  ディープニューラルネットワーク(DNN)は非常にノイズの多いラベルに適合する能力を持つ。 彼らはまずクリーンなラベルでデータを学び、次にノイズの多いラベルで記憶する傾向があります。 与えられたしきい値によって決定される低エントロピー予測は、元のノイズラベルよりもずっと信頼性が高いことを示す。
  論文  参考訳（メタデータ） (2021-03-31T11:42:55Z)
• Active Learning to Classify Macromolecular Structures in situ for Less Supervision in Cryo-Electron Tomography [18.97783153971551]
  大規模非ラベル付きサブトモグラムプールからラベル作成のためのサブトモグラムをクエリするためのフレームワークを提案する。 HALは不確実サンプリングを採用し、最も不確実な予測を持つサブトモグラムを選択する。 halはクエリセットの多様性を改善するためにサブセットサンプリング戦略を導入している。
  論文  参考訳（メタデータ） (2021-02-24T03:10:32Z)
• Deep Learning for Virtual Screening: Five Reasons to Use ROC Cost Functions [80.12620331438052]
  深層学習は サイリコの何十億もの分子を 迅速にスクリーニングする 重要なツールとなりました その重要性にもかかわらず、厳密なクラス不均衡、高い決定しきい値、いくつかのデータセットにおける基底真理ラベルの欠如など、これらのモデルのトレーニングにおいて重大な課題が続いている。 このような場合、クラス不均衡に対するロバスト性から、レシーバ動作特性(ROC)を直接最適化することを好んで論じる。
  論文  参考訳（メタデータ） (2020-06-25T08:46:37Z)
• Students Need More Attention: BERT-based AttentionModel for Small Data with Application to AutomaticPatient Message Triage [65.7062363323781]
  BioBERT (Bidirectional Representations from Transformers for Biomedical Text Mining) に基づく新しいフレームワークを提案する。 LESA-BERTと呼ぶBERTの各層にラベル埋め込みを導入し、(ii)LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指す。 アプリケーションとして,本フレームワークを用いて,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度,緊急度という3つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2020-06-22T03:39:00Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。