論文の概要: Multi-label topic classification for COVID-19 literature with Bioformer

• arxiv url: http://arxiv.org/abs/2204.06758v1
• Date: Thu, 14 Apr 2022 05:24:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-16 00:37:58.523860
• Title: Multi-label topic classification for COVID-19 literature with Bioformer
• Title（参考訳）: Bioformerを用いたCOVID-19文献のマルチラベルトピック分類
• Authors: Li Fang, Kai Wang
• Abstract要約: バイオフォーマーチームによる新型コロナウイルス文献の多ラベルトピック分類課題への参加について述べる。 話題分類タスクを文対分類問題として定式化し、タイトルが第一文、要約が第二文とする。 基準値と比較すると,最良モデルではマイクロ,マクロ,インスタンスベースのF1スコアが8.8%,15.5%,7.4%増加した。
• 参考スコア（独自算出の注目度）: 5.552371779218602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We describe Bioformer team's participation in the multi-label topic classification task for COVID-19 literature (track 5 of BioCreative VII). Topic classification is performed using different BERT models (BioBERT, PubMedBERT, and Bioformer). We formulate the topic classification task as a sentence pair classification problem, where the title is the first sentence, and the abstract is the second sentence. Our results show that Bioformer outperforms BioBERT and PubMedBERT in this task. Compared to the baseline results, our best model increased micro, macro, and instance-based F1 score by 8.8%, 15.5%, 7.4%, respectively. Bioformer achieved the highest micro F1 and macro F1 scores in this challenge. In post-challenge experiments, we found that pretraining of Bioformer on COVID-19 articles further improves the performance.
• Abstract（参考訳）: バイオフォーマーチームによるCOVID-19文献の多ラベルトピック分類課題(BioCreative VIIのトラック5)への参加について述べる。 異なるBERTモデル(BioBERT、PubMedBERT、Bioformer)を使用してトピック分類を行う。 話題分類タスクを,タイトルが第1文,抽象が第2文である文対分類問題として定式化する。 以上の結果から,BioformerはBioBERTとPubMedBERTよりも優れていた。 ベースライン結果と比較すると,マイクロ,マクロ,インスタンスベースのF1スコアはそれぞれ8.8%,15.5%,7.4%増加した。 バイオフォーマーはこの挑戦でマイクロF1とマクロF1の最高点を達成した。 カオス後の実験では、バイオフォーマーのCOVID-19記事への事前トレーニングにより、パフォーマンスがさらに向上することがわかった。

関連論文リスト

• Augmenting Biomedical Named Entity Recognition with General-domain Resources [47.24727904076347]
  ニューラルネットワークに基づくバイオメディカル名前付きエンティティ認識(BioNER)モデルのトレーニングは通常、広範囲でコストのかかる人的アノテーションを必要とする。 GERBERAは、一般ドメインのNERデータセットをトレーニングに利用した、単純なyet効率の手法である。 我々は,81,410インスタンスからなる8つのエンティティタイプの5つのデータセットに対して,GERBERAを体系的に評価した。
  論文  参考訳（メタデータ） (2024-06-15T15:28:02Z)
• BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text [82.7001841679981]
  BioMedLM は270億のパラメータ GPT スタイルの自己回帰モデルであり、PubMed の抽象概念と全記事に特化して訓練されている。 微調整すると、BioMedLMはより大規模なモデルと競合する強力な多重選択のバイオメディカルな質問応答結果を生成することができる。 BioMedLMは、医療トピックに関する患者の質問に対する有用な回答を生成するために、微調整することもできる。
  論文  参考訳（メタデータ） (2024-03-27T10:18:21Z)
• BioT5+: Towards Generalized Biological Understanding with IUPAC Integration and Multi-task Tuning [77.90250740041411]
  本稿では,BioT5フレームワークの拡張であるBioT5+を紹介する。 BioT5+ には、分子理解のための IUPAC 名の統合、bioRxiv や PubChem などのソースからの広範なバイオテキストと分子データの統合、タスク間の汎用性のためのマルチタスク命令チューニング、数値データの処理を改善する数値トークン化技術など、いくつかの新機能が含まれている。
  論文  参考訳（メタデータ） (2024-02-27T12:43:09Z)
• BioAug: Conditional Generation based Data Augmentation for Low-Resource Biomedical NER [52.79573512427998]
  低リソースBioNERのための新しいデータ拡張フレームワークであるBioAugを紹介する。 BioAugは、選択的マスキングと知識増強に基づく新しいテキスト再構築タスクを解決するために訓練されている。 5つのベンチマークBioNERデータセットに対するBioAugの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-18T02:04:38Z)
• BiomedCLIP: a multimodal biomedical foundation model pretrained from fifteen million scientific image-text pairs [48.376109878173956]
  PMC-15Mは,既存のバイオメディカル・マルチモーダル・データセットよりも2桁大きい新しいデータセットである。 PMC-15Mは440万の科学論文から収集された1500万のバイオメディカル画像テキスト対を含んでいる。 PMC-15Mに基づいて,生物医学的視覚言語処理に適したドメイン固有適応を備えた多モーダル基礎モデルであるBiomedCLIPを事前訓練した。
  論文  参考訳（メタデータ） (2023-03-02T02:20:04Z)
• Bioformer: an efficient transformer language model for biomedical text mining [8.961510810015643]
  本稿では,バイオメディカルテキストマイニングのための小型BERTモデルであるBioformerを紹介する。 BERTBaseと比較してモデルサイズを60%削減する2つのBioformerモデルを事前訓練した。 パラメータが60%少ないため、Bioformer16L は PubMedBERT よりも 0.1% しか正確ではない。
  論文  参考訳（メタデータ） (2023-02-03T08:04:59Z)
• BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining [140.61707108174247]
  本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。 BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
  論文  参考訳（メタデータ） (2022-10-19T07:17:39Z)
• Multi-label classification for biomedical literature: an overview of the BioCreative VII LitCovid Track for COVID-19 literature topic annotations [13.043042862575192]
  BioCreative LitCovidのトラックは、新型コロナウイルスの文献の自動トピックアノテーションに取り組むコミュニティの努力を求めている。 データセットは3万以上の記事と手動でレビューされたトピックで構成されている。 最高パフォーマンスは0.8875、0.9181、0.9394、マクロF1スコア、マイクロF1スコア、インスタンスベースのF1スコアである。
  論文  参考訳（メタデータ） (2022-04-20T20:47:55Z)
• BagBERT: BERT-based bagging-stacking for multi-topic classification [0.0]
  本稿では,グローバルな非最適重みの知識を利用して,各ラベルの豊かな表現を構築するアプローチを提案する。 これらの弱い洞察の集約は、古典的なグローバルな効率の良いモデルよりも優れている。 本システムは92.96のインスタンスベースのF1と91.35のラベルベースのマイクロF1を得る。
  論文  参考訳（メタデータ） (2021-11-10T17:00:36Z)
• BioNerFlair: biomedical named entity recognition using flair embedding and sequence tagger [0.0]
  本稿では,生物医学的実体認識のためのモデルトレーニング手法であるBioNerFlairを紹介する。 名前付きエンティティ認識に広く使われているほぼ同じ汎用アーキテクチャで、BioNerFlairは従来の最先端モデルより優れている。
  論文  参考訳（メタデータ） (2020-11-03T06:46:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。