論文の概要: Investigation of BERT Model on Biomedical Relation Extraction Based on Revised Fine-tuning Mechanism

• arxiv url: http://arxiv.org/abs/2011.00398v1
• Date: Sun, 1 Nov 2020 01:47:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 23:10:33.034497
• Title: Investigation of BERT Model on Biomedical Relation Extraction Based on Revised Fine-tuning Mechanism
• Title（参考訳）: 修正微調整機構に基づく医療関係抽出におけるBERTモデルの検討
• Authors: Peng Su, K. Vijay-Shanker
• Abstract要約: BERTモデルの微調整過程における層全体の利用法について検討する。 さらに解析により,BERTモデルの最後の層から関係性に関する重要な知識を学習できることが示唆された。
• 参考スコア（独自算出の注目度）: 2.8881198461098894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the explosive growth of biomedical literature, designing automatic tools to extract information from the literature has great significance in biomedical research. Recently, transformer-based BERT models adapted to the biomedical domain have produced leading results. However, all the existing BERT models for relation classification only utilize partial knowledge from the last layer. In this paper, we will investigate the method of utilizing the entire layer in the fine-tuning process of BERT model. To the best of our knowledge, we are the first to explore this method. The experimental results illustrate that our method improves the BERT model performance and outperforms the state-of-the-art methods on three benchmark datasets for different relation extraction tasks. In addition, further analysis indicates that the key knowledge about the relations can be learned from the last layer of BERT model.
• Abstract（参考訳）: バイオメディカル文学の爆発的成長に伴い、バイオメディカル研究において、文献から情報を抽出する自動ツールが重要である。 近年,バイオメディカル領域に適応した変換器を用いたBERTモデルが主要な成果を上げている。 しかし、関係分類のための既存のBERTモデルは、最終層からの部分的知識のみを利用する。 本稿では,BERTモデルの微調整過程における層全体の利用方法について検討する。 私たちの知る限りでは、私たちはこの手法を最初に探求しています。 実験の結果,提案手法はBERTモデルの性能を向上し,関係抽出タスクの異なる3つのベンチマークデータセット上で最先端の手法よりも優れていた。 さらに解析により,BERTモデルの最後の層から関係性に関する重要な知識を学習できることが示唆された。

関連論文リスト

• Deep Learning for Medical Text Processing: BERT Model Fine-Tuning and Comparative Study [4.416456130207115]
  本稿では,現在の医療情報の爆発に伴う課題に対処するため,BERTモデルに基づく医療文献要約生成手法を提案する。 我々は,医療文献から重要な情報を素早く抽出し,一貫性のある正確な要約を生成する効率的な要約生成システムを開発した。
  論文  参考訳（メタデータ） (2024-10-28T07:17:45Z)
• BioBERT-based Deep Learning and Merged ChemProt-DrugProt for Enhanced Biomedical Relation Extraction [2.524192238862961]
  我々のアプローチは、新しいマージ戦略を用いて、ChemProtとD薬局のデータセットを統合する。 本研究は, バイオメディカル研究と臨床実習における自動情報抽出の可能性を強調した。
  論文  参考訳（メタデータ） (2024-05-28T21:34:01Z)
• MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints [50.61346764110482]
  筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。 このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。 また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
  論文  参考訳（メタデータ） (2024-04-16T02:18:18Z)
• Research on the Application of Deep Learning-based BERT Model in Sentiment Analysis [8.504422968998506]
  本稿では、感情分析における深層学習技術、特にBERTモデルの適用について検討する。 感情分析におけるBERTモデルの応用効果と最適化戦略を明らかにする。 実験結果から, BERTモデルは感情分析タスクにおいて頑健な性能を示し, 微調整後の顕著な改善が見られた。
  論文  参考訳（メタデータ） (2024-03-13T03:31:26Z)
• Multi-level biomedical NER through multi-granularity embeddings and enhanced labeling [3.8599767910528917]
  本稿では,複数のモデルの強みを統合するハイブリッドアプローチを提案する。 BERTは、文脈化された単語の埋め込み、文字レベルの情報キャプチャのための事前訓練されたマルチチャネルCNN、およびテキスト内の単語間の依存関係のシーケンスラベリングとモデル化のためのBiLSTM + CRFを提供する。 我々は、ベンチマークi2b2/2010データセットを用いて、F1スコア90.11を達成する。
  論文  参考訳（メタデータ） (2023-12-24T21:45:36Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Improving Biomedical Entity Linking with Retrieval-enhanced Learning [53.24726622142558]
  $k$NN-BioELは、トレーニングコーパス全体から同様のインスタンスを予測のヒントとして参照する機能を備えたBioELモデルを提供する。 k$NN-BioELは、いくつかのデータセットで最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-12-15T14:04:23Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)
• Discovering Drug-Target Interaction Knowledge from Biomedical Literature [107.98712673387031]
  人体における薬物と標的(DTI)の相互作用は、生物医学や応用において重要な役割を担っている。 毎年何百万もの論文がバイオメディカル分野で出回っているので、文学からDTIの知識を自動的に発見することは、業界にとって急激な需要となっている。 生成的アプローチを用いて,この課題に対する最初のエンドツーエンドソリューションについて検討する。 我々はDTI三重項をシーケンスとみなし、Transformerベースのモデルを使ってエンティティや関係の詳細なアノテーションを使わずに直接生成する。
  論文  参考訳（メタデータ） (2021-09-27T17:00:14Z)
• Evaluating Biomedical BERT Models for Vocabulary Alignment at Scale in the UMLS Metathesaurus [8.961270657070942]
  現在のUMLS(Unified Medical Language System)メタテーザウルス構築プロセスは高価でエラーを起こしやすい。 自然言語処理の最近の進歩は、下流タスクにおける最先端(SOTA)のパフォーマンスを達成している。 BERTモデルを用いたアプローチがUMLSメタテーラスの同義語予測において,既存のアプローチよりも優れているかどうかを検証することを目的としている。
  論文  参考訳（メタデータ） (2021-09-14T16:52:16Z)
• Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
  BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。 本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
  論文  参考訳（メタデータ） (2020-02-24T16:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。