Fugu-MT 論文翻訳(概要): Distilled Rapid Embedding Transfer (DRET): Parameter-Efficient Biomedical Domain Adaptation via Priority-Based Embedding Transfer

論文の概要: Distilled Rapid Embedding Transfer (DRET): Parameter-Efficient Biomedical Domain Adaptation via Priority-Based Embedding Transfer

arxiv url: http://arxiv.org/abs/2609.02898v1
Date: Sat, 04 Jul 2026 23:46:07 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-28 05:09:55.451664
Title: Distilled Rapid Embedding Transfer (DRET): Parameter-Efficient Biomedical Domain Adaptation via Priority-Based Embedding Transfer
Title（参考訳）: 蒸留ラピッド・エンベディング・トランスファー(DRET) : 優先度に基づくインベディング・トランスファーによるパラメータ効率の良いバイオメディカル・ドメイン適応
Abstract要約: Distilled Rapid Embedding Transfer (DRET) は、バイオメディカルドメインの知識を、より小さな汎用モデルに注入する知識伝達パラダイムである。 DRETは、バイオメディカルテキストマイニングのために、スケーラブルでリソース効率の良い、準ドメイン-エキスパートのパフォーマンスへの経路を提供し、自動化された体系的な文献レビューや臨床決定支援に直接適用する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large domain-specific language models such as BioBERT and ClinicalBERT achieve strong performance on biomedical NLP tasks, but their computational demands make them impractical for many real-world deployments. General-purpose, parameter-efficient models such as DistilBERT are lightweight yet lack the domain knowledge required for specialized tasks such as PICO (Population, Intervention, Comparison, Outcome) classification. We introduce Distilled Rapid Embedding Transfer (DRET), a knowledge-transfer paradigm that injects biomedical domain knowledge from large specialized models into a smaller general-purpose model without retraining on the original specialized corpora. DRET is developed as an iterative family of strategies: a unified tokenizer-merge strategy (DRET 1.x), hybrid embedding averaging (DRET 2.0), and a priority-based embedding-transfer mechanism (DRET 3.x) that hierarchically selects embeddings from the most authoritative source models, further combined with embedding-layer freezing, differential learning rates, label propagation, and imbalance-aware loss functions (DRET 4.x). We evaluate DRET on token-level PICO classification using the EBM-NLP corpus under severe class imbalance, across a twelve-metric battery. DRET-enhanced DistilBERT (66M parameters) attains balanced accuracy, recall, and ROC-AUC competitive with, and on several class-wise metrics exceeding, models an order of magnitude larger, while retaining DistilBERT's efficiency. We further show that transfer occurs at the embedding level through cosine-similarity, semantic-shift, and t-SNE analyses. DRET offers a scalable, resource-efficient route to near-domain-expert performance for biomedical text mining, with direct application to automated systematic literature reviews and clinical decision support.
Abstract（参考訳）: BioBERT や ClinicalBERT のような大規模ドメイン固有言語モデルは、バイオメディカルな NLP タスクにおいて高い性能を達成するが、その計算要求は現実の多くのデプロイメントにおいて実用的ではない。 DistilBERTのような汎用的でパラメータ効率の良いモデルは軽量だが、PICO(Population, Intervention, Comparison, Outcome)分類のような特殊なタスクに必要なドメイン知識は欠落している。生物医学的な分野の知識を,より小さな汎用モデルに注入し,元の専門コーパスを再学習することなく導入する,知識伝達パラダイムであるDistilled Rapid Embedding Transfer (DRET)を紹介する。 DRETは、統合トークンーマージ戦略(DRET 1.x)、ハイブリッド埋め込み平均化(DRET 2.0)、最も権威のあるソースモデルからの埋め込みを階層的に選択する優先ベースの埋め込み転送メカニズム(DRET 3.x)、さらに埋め込み層凍結、差分学習率、ラベル伝搬、不均衡認識損失関数(DRET 4.x)といった戦略の反復的なファミリーとして開発されている。 EBM-NLPコーパスを用いたトークンレベルのPICO分類におけるDRETの評価を行った。 DRETで強化された DistilBERT (66M パラメータ) は精度、リコール、ROC-AUC と競合し、いくつかのクラスワイドのメトリクスでは、 DistilBERT の効率を保ちながら桁違いに大きくモデル化する。さらに,cosine-similarity,semantic-shift,t-SNE分析により,埋め込みレベルでのトランスファーが生じることを示す。 DRETは、バイオメディカルテキストマイニングのために、スケーラブルでリソース効率の良い、準ドメイン-エキスパートのパフォーマンスへの経路を提供し、自動化された体系的な文献レビューや臨床決定支援に直接適用する。

関連論文リスト

Unsupervised Neural Network for Automated Classification of Surgical Urgency Levels in Medical Transcriptions [3.093890460224435]
本研究では、外科的転写を3つの緊急レベルに自動的に分類する、教師なしニューラルネットワークアプローチを提案する。このフレームワークは、クロスバリデーションと精度、精度、リコール、F1スコアなどのメトリクスを使って厳格に評価されている。
論文参考訳（メタデータ） (2026-03-16T18:18:14Z)
RAPTOR-GEN: RApid PosTeriOR GENerator for Bayesian Learning in Biomanufacturing [2.918639959397167]
本稿では,メカニズムインフォームドベイズ学習フレームワークRAPTOR-GENを紹介する。 RAPTOR-GENは、スパースおよび異種実験データからインテリジェントデジタルツイン開発を加速するように設計されている。制御可能な誤りを考慮した高速かつ堅牢なRAPTOR-GENアルゴリズムを開発した。
論文参考訳（メタデータ） (2025-09-25T05:20:49Z)
MedSeqFT: Sequential Fine-tuning Foundation Models for 3D Medical Image Segmentation [55.37355146924576]
MedSeqFTは、医用画像解析のためのシーケンシャルな微調整フレームワークである。事前訓練されたモデルを新しいタスクに適応させ、表現能力を改善する。最先端の微調整戦略を一貫して上回ります。
論文参考訳（メタデータ） (2025-09-07T15:22:53Z)
EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
論文参考訳（メタデータ） (2025-06-14T05:19:58Z)
High-Fidelity Pseudo-label Generation by Large Language Models for Training Robust Radiology Report Classifiers [0.2158126716116375]
DeBERTa-RADは、最先端のLLM擬似ラベル付けのパワーと、DeBERTaに基づく効率的な知識蒸留を組み合わせた、高精度で高速な胸部X線レポートラベリングのための新しいフレームワークである。専門家によるMIMIC-500ベンチマークで、DeBERTa-RADは最先端のマクロF1スコア0.9120を達成している。
論文参考訳（メタデータ） (2025-05-03T04:50:55Z)
ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文参考訳（メタデータ） (2024-12-11T12:31:30Z)
An efficient framework based on large foundation model for cervical cytopathology whole slide image screening [13.744580492120749]
本稿では,教師なし・弱教師付き学習によるWSIレベルラベルのみを用いた頚部細胞病理学WSI分類のための効率的なフレームワークを提案する。 CSDおよびFNAC 2019データセットで実施された実験は、提案手法が様々なMIL手法の性能を高め、最先端(SOTA)性能を達成することを示した。
論文参考訳（メタデータ） (2024-07-16T08:21:54Z)
Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
論文参考訳（メタデータ） (2021-12-30T06:32:47Z)
Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
バイオメディカルNLPの微調整安定性に関する系統的研究を行った。我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2021-12-15T04:20:35Z)
Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。