論文の概要: Fine-Tuning BERT for Automatic ADME Semantic Labeling in FDA Drug
Labeling to Enhance Product-Specific Guidance Assessment
- arxiv url: http://arxiv.org/abs/2207.12376v1
- Date: Mon, 25 Jul 2022 17:43:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-26 13:06:10.600063
- Title: Fine-Tuning BERT for Automatic ADME Semantic Labeling in FDA Drug
Labeling to Enhance Product-Specific Guidance Assessment
- Title（参考訳）: FDA薬物ラベル自動ADMEセマンティックラベル作成のための細調整BERT
- Authors: Yiwen Shi, Jing Wang, Ping Ren, Taha ValizadehAslani, Yi Zhang, Meng
Hu, Hualou Liang
- Abstract要約: 米国食品医薬品局(FDA)が推奨する製品特異的ガイダンス(PSGs)は、総合的な医薬品製品開発を促進・指導するための手段である。
PSGを評価するには、FDA査定官は、基準薬物ラベルから吸収、分布、代謝、排他といった支援薬情報(ADME)を手作業で取得するために、広範囲な時間と努力が必要である。
我々は,手作業ではなく薬物ラベルからADME段落を自動的に抽出できるADMEセマンティックラベリングの新たな応用を開発した。
- 参考スコア（独自算出の注目度）: 7.776014050139462
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Product-specific guidances (PSGs) recommended by the United States Food and
Drug Administration (FDA) are instrumental to promote and guide generic drug
product development. To assess a PSG, the FDA assessor needs to take extensive
time and effort to manually retrieve supportive drug information of absorption,
distribution, metabolism, and excretion (ADME) from the reference listed drug
labeling. In this work, we leveraged the state-of-the-art pre-trained language
models to automatically label the ADME paragraphs in the pharmacokinetics
section from the FDA-approved drug labeling to facilitate PSG assessment. We
applied a transfer learning approach by fine-tuning the pre-trained
Bidirectional Encoder Representations from Transformers (BERT) model to develop
a novel application of ADME semantic labeling, which can automatically retrieve
ADME paragraphs from drug labeling instead of manual work. We demonstrated that
fine-tuning the pre-trained BERT model can outperform the conventional machine
learning techniques, achieving up to 11.6% absolute F1 improvement. To our
knowledge, we were the first to successfully apply BERT to solve the ADME
semantic labeling task. We further assessed the relative contribution of
pre-training and fine-tuning to the overall performance of the BERT model in
the ADME semantic labeling task using a series of analysis methods such as
attention similarity and layer-based ablations. Our analysis revealed that the
information learned via fine-tuning is focused on task-specific knowledge in
the top layers of the BERT, whereas the benefit from the pre-trained BERT model
is from the bottom layers.
- Abstract（参考訳）: 米国食品医薬品局(fda)が推奨する製品特定ガイダンス(psgs)は、ジェネリック医薬品製品開発を促進および指導するための手段である。
PSGを評価するには、FDA査定官は、基準薬物ラベルから吸収、分布、代謝、排他といった支援薬情報(ADME)を手作業で取得するために、広範囲な時間と努力が必要である。
そこで本研究では,最先端の事前学習言語モデルを用いて,fdaが承認する薬物ラベリングから,薬物動態学セクションのadme段落を自動的にラベル付けし,psg評価を容易にする。
トランスフォーマー(BERT)モデルから事前学習した双方向エンコーダ表現を微調整し,手作業ではなくドラッグラベリングからADME段落を自動的に抽出するADMEセマンティックラベリングの新しい応用法を開発した。
トレーニング済みのBERTモデルの微調整は、従来の機械学習技術よりも優れ、最大11.6%の絶対F1の改善が達成できることを示した。
私たちの知る限り、私たちはADMEセマンティックラベリングタスクを解決するためにBERTをうまく適用した最初の人物でした。
さらに,ADMEセマンティックラベリングタスクにおけるBERTモデル全体の性能に対する事前学習と微調整の相対的寄与を,注意類似性やレイヤベースの改善といった分析手法を用いて評価した。
解析の結果、細調整によって得られた情報は、BERTの上位層におけるタスク固有の知識に重点を置いていることがわかった。
関連論文リスト
- PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。
我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。
CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
論文 参考訳（メタデータ） (2024-09-08T15:02:25Z) - BIOptimus: Pre-training an Optimal Biomedical Language Model with
Curriculum Learning for Named Entity Recognition [0.0]
大規模コーパス上での自己教師型設定で事前訓練された言語モデル(LM)を用いることで,ラベルデータに制限があるという問題に対処できる。
最近のバイオメディカル言語処理の研究は、多くのバイオメディカルLMを事前訓練した。
本稿では, バイオメディカル LM をスクラッチから事前訓練し, 継続的に事前訓練するなど, 様々な事前訓練方法を検討することを目的とする。
論文 参考訳（メタデータ） (2023-08-16T18:48:01Z) - Prior Knowledge-Guided Attention in Self-Supervised Vision Transformers [79.60022233109397]
本研究では、未ラベル画像データセットにおける一貫した空間的・意味的構造を利用するフレームワークである空間的事前注意(SPAN)を提案する。
SPANは、アテンションマスクを別個のトランスフォーマーヘッドから正規化し、セマンティック領域の様々な先導に従う。
その結果,アテンションマスクは,ドメインに依存しない事前学習から得られるマスクよりも解釈可能であることが判明した。
論文 参考訳（メタデータ） (2022-09-07T02:30:36Z) - Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。
特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。
このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
論文 参考訳（メタデータ） (2022-07-18T18:41:36Z) - Fine-tuning Pretrained Language Models with Label Attention for
Explainable Biomedical Text Classification [1.066048003460524]
PTMの微調整プロセスに意味ラベル記述を注入するための改良されたラベルアテンションに基づくアーキテクチャを開発した。
2つの公開医療データセットの結果、提案手法は従来の微調整PTMと先行技術モデルよりも優れていた。
論文 参考訳（メタデータ） (2021-08-26T14:23:06Z) - DAGA: Data Augmentation with a Generation Approach for Low-resource
Tagging Tasks [88.62288327934499]
線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。
本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
論文 参考訳（メタデータ） (2020-11-03T07:49:15Z) - Semi-supervised Relation Extraction via Incremental Meta Self-Training [56.633441255756075]
半教師付き関係抽出法は,限られたサンプルからの学習に加え,ラベルのないデータを活用することを目的としている。
既存の自己学習手法は段階的なドリフト問題に悩まされ、未ラベルデータにノイズのある擬似ラベルが組み込まれている。
本稿では,リレーショナルラベル生成ネットワークが,メタオブジェクトとしてリレーショナル分類ネットワークを成功・失敗に導くことによって,擬似ラベルの品質評価を生成するメタSREという手法を提案する。
論文 参考訳（メタデータ） (2020-10-06T03:54:11Z) - Learning Image Labels On-the-fly for Training Robust Classification
Models [13.669654965671604]
ノイズの多いアノテーション(例えば、異なるアルゴリズムベースのラベル付け子から)を一緒に利用し、相互に分類タスクの学習に役立てることができるかを示す。
メタトレーニングベースのラベルサンプリングモジュールは、追加のバックプロパゲーションプロセスを通じてモデル学習の恩恵を受けるラベルに出席するように設計されている。
論文 参考訳（メタデータ） (2020-09-22T05:38:44Z) - Deep Semi-supervised Knowledge Distillation for Overlapping Cervical
Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。
摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。
実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文 参考訳（メタデータ） (2020-07-21T13:27:09Z) - Pre-training technique to localize medical BERT and enhance biomedical
BERT [0.0]
高品質で大容量のデータベースが公開されていないドメインでうまく機能する特定のBERTモデルを訓練することは困難である。
本稿では,アップサンプリングと増幅語彙の同時事前学習という,一つの選択肢による1つの介入を提案する。
我が国の医療用BERTは,医学文書分類タスクにおいて,従来のベースラインおよび他のBERTモデルよりも優れていた。
論文 参考訳（メタデータ） (2020-05-14T18:00:01Z) - CheXbert: Combining Automatic Labelers and Expert Annotations for
Accurate Radiology Report Labeling Using BERT [6.458158112222296]
医用画像レポートラベリングにおけるBERTに基づくアプローチを提案する。
本稿では,ルールベースラベルのアノテーションに基づいてトレーニングしたBERTモデルの優れた性能を示す。
我々の最終モデルであるCheXbertは、統計的に有意な、以前の最高のルールベースのラベルよりも優れていることが分かりました。
論文 参考訳（メタデータ） (2020-04-20T09:46:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。