論文の概要: Fine-tuning Pretrained Language Models with Label Attention for Explainable Biomedical Text Classification

• arxiv url: http://arxiv.org/abs/2108.11809v1
• Date: Thu, 26 Aug 2021 14:23:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-27 18:55:15.305523
• Title: Fine-tuning Pretrained Language Models with Label Attention for Explainable Biomedical Text Classification
• Title（参考訳）: 説明可能なバイオメディカルテキスト分類のためのラベル注意型微調整事前学習言語モデル
• Authors: Bruce Nguyen and Shaoxiong Ji
• Abstract要約: PTMの微調整プロセスに意味ラベル記述を注入するための改良されたラベルアテンションに基づくアーキテクチャを開発した。 2つの公開医療データセットの結果、提案手法は従来の微調整PTMと先行技術モデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 1.066048003460524
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The massive growth of digital biomedical data is making biomedical text indexing and classification increasingly important. Accordingly, previous research has devised numerous techniques ranging from rule-based systems to deep neural networks, with most focusing on feedforward, convolutional or recurrent neural architectures. More recently, fine-tuned transformers-based pretrained models (PTMs) have demonstrated superior performance in many natural language processing tasks. However, the direct use of PTMs in the biomedical domain is only limited to the target documents, ignoring the rich semantic information in the label descriptions. In this paper, we develop an improved label attention-based architecture to inject semantic label description into the fine-tuning process of PTMs. Results on two public medical datasets show that the proposed fine-tuning scheme outperforms the conventionally fine-tuned PTMs and prior state-of-the-art models. Furthermore, we show that fine-tuning with the label attention mechanism is interpretable in the interpretability study.
• Abstract（参考訳）: デジタルバイオメディカルデータの大規模成長により、バイオメディカルテキストのインデクシングと分類がますます重要になっている。 それゆえ、これまでの研究ではルールベースのシステムからディープニューラルネットワークまで、主にフィードフォワード、畳み込み、リカレントニューラルアーキテクチャに焦点をあてた多くの技術が考案されている。 最近では、多くの自然言語処理タスクにおいて、微調整トランスフォーマーベース事前訓練モデル(PTM)が優れた性能を示している。 しかし、バイオメディカル領域におけるPTMの直接使用は、ラベル記述の豊富な意味情報を無視して、対象文書のみに限られる。 本稿では,PTMの微調整プロセスに意味ラベル記述を注入する改良されたラベルアテンションに基づくアーキテクチャを提案する。 2つの公開医療データセットの結果、提案手法は従来の微調整PTMと先行技術モデルよりも優れていた。 さらに, ラベル注意機構による微調整は, 解釈可能性研究において解釈可能であることを示す。

関連論文リスト

• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• Multi-level biomedical NER through multi-granularity embeddings and enhanced labeling [3.8599767910528917]
  本稿では,複数のモデルの強みを統合するハイブリッドアプローチを提案する。 BERTは、文脈化された単語の埋め込み、文字レベルの情報キャプチャのための事前訓練されたマルチチャネルCNN、およびテキスト内の単語間の依存関係のシーケンスラベリングとモデル化のためのBiLSTM + CRFを提供する。 我々は、ベンチマークi2b2/2010データセットを用いて、F1スコア90.11を達成する。
  論文  参考訳（メタデータ） (2023-12-24T21:45:36Z)
• PathLDM: Text conditioned Latent Diffusion Model for Histopathology [62.970593674481414]
  そこで我々は,高品質な病理像を生成するためのテキスト条件付き遅延拡散モデルPathLDMを紹介した。 提案手法は画像とテキストデータを融合して生成プロセスを強化する。 我々は,TCGA-BRCAデータセット上でのテキスト・ツー・イメージ生成において,SoTA FIDスコア7.64を達成し,FID30.1と最も近いテキスト・コンディショナブル・コンペティタを著しく上回った。
  論文  参考訳（メタデータ） (2023-09-01T22:08:32Z)
• Hierarchical Pretraining for Biomedical Term Embeddings [4.69793648771741]
  階層データに基づく新しいバイオメディカル用語表現モデルであるHiPrBERTを提案する。 HiPrBERTは階層的な情報からペアワイズ距離を効果的に学習し,さらにバイオメディカルな応用に極めて有用な埋め込みを実現できることを示す。
  論文  参考訳（メタデータ） (2023-07-01T08:16:00Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)
• Recognising Biomedical Names: Challenges and Solutions [9.51284672475743]
  本稿では,不連続な言及を認識可能な遷移ベースNERモデルを提案する。 また、適切な事前学習データを通知する費用対効果のアプローチも開発している。 我々の貢献は、特に新しいバイオメディカル・アプリケーションが必要な場合に、明らかな実践的意味を持つ。
  論文  参考訳（メタデータ） (2021-06-23T08:20:13Z)
• Biomedical Interpretable Entity Representations [40.6095537182194]
  事前訓練された言語モデルは、エンティティ中心のNLPタスクに強力なパフォーマンスを提供する密度の高いエンティティ表現を誘導する。 これは、バイオメディシンのような重要な領域における取り込みをモデル化するための障壁となる。 我々は、バイオメディカルテキストの大規模なコーパスから、新しいエンティティ型システムとトレーニングセットを作成する。
  論文  参考訳（メタデータ） (2021-06-17T13:52:10Z)
• An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text [72.62848911347466]
  EHRにおける非構造化臨床テキストには、意思決定支援、トライアルマッチング、振り返り研究を含むアプリケーションにとって重要な情報が含まれている。 最近の研究は、これらのモデルが他のNLPドメインにおける最先端の性能を考慮し、BERTベースのモデルを臨床情報抽出およびテキスト分類に応用している。 本稿では,SnipBERTという新しい微調整手法を提案する。SnipBERTは全音符を使用する代わりに,重要なスニペットを識別し,階層的に切り刻まれたBERTベースのモデルに供給する。
  論文  参考訳（メタデータ） (2020-11-12T17:14:32Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。