論文の概要: BioADAPT-MRC: Adversarial Learning-based Domain Adaptation Improves
Biomedical Machine Reading Comprehension Task
- arxiv url: http://arxiv.org/abs/2202.13174v1
- Date: Sat, 26 Feb 2022 16:14:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 13:33:13.639789
- Title: BioADAPT-MRC: Adversarial Learning-based Domain Adaptation Improves
Biomedical Machine Reading Comprehension Task
- Title(参考訳): BioADAPT-MRC: 逆学習に基づくドメイン適応によるバイオメディカル機械読解作業の改善
- Authors: Maria Mahbub, Sudarshan Srinivasan, Edmon Begoli and Gregory D
Peterson
- Abstract要約: 本稿では,生物医学機械読解作業のための逆学習に基づくドメイン適応フレームワークを提案する。
BioADAPT-MRCは、一般的なドメインデータセットとバイオメディカルドメインデータセットの間の限界分布の相違に対処するニューラルネットワークベースの手法である。
- 参考スコア(独自算出の注目度): 4.837365865245979
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Motivation: Biomedical machine reading comprehension (biomedical-MRC) aims to
comprehend complex biomedical narratives and assist healthcare professionals in
retrieving information from them. The high performance of modern neural
network-based MRC systems depends on high-quality, large-scale, human-annotated
training datasets. In the biomedical domain, a crucial challenge in creating
such datasets is the requirement for domain knowledge, inducing the scarcity of
labeled data and the need for transfer learning from the labeled
general-purpose (source) domain to the biomedical (target) domain. However,
there is a discrepancy in marginal distributions between the general-purpose
and biomedical domains due to the variances in topics. Therefore,
direct-transferring of learned representations from a model trained on a
general-purpose domain to the biomedical domain can hurt the model's
performance.
Results: We present an adversarial learning-based domain adaptation framework
for the biomedical machine reading comprehension task (BioADAPT-MRC), a neural
network-based method to address the discrepancies in the marginal distributions
between the general and biomedical domain datasets. BioADAPT-MRC relaxes the
need for generating pseudo labels for training a well-performing biomedical-MRC
model. We extensively evaluate the performance of BioADAPT-MRC by comparing it
with the best existing methods on three widely used benchmark biomedical-MRC
datasets -- BioASQ-7b, BioASQ-8b, and BioASQ-9b. Our results suggest that
without using any synthetic or human-annotated data from the biomedical domain,
BioADAPT-MRC can achieve state-of-the-art performance on these datasets.
Availability: BioADAPT-MRC is freely available as an open-source project
at\\https://github.com/mmahbub/BioADAPT-MRC
- Abstract(参考訳): モチベーション:バイオメディカルマシンリーディング理解(biomedical machine reading comprehension:biomedical-mrc)は、複雑なバイオメディカルナラティブを理解し、医療専門家が情報を取得するのを助けることを目的としている。
現代のニューラルネットワークベースのMRCシステムの高性能は、高品質で大規模で人間の注釈付きトレーニングデータセットに依存している。
バイオメディカル領域では、このようなデータセットを作成する上で重要な課題は、ラベル付きデータの不足とラベル付き汎用(ソース)ドメインからバイオメディカル(ターゲット)ドメインへの転送学習の必要性を誘発する、ドメイン知識の要件である。
しかし、トピックのばらつきにより、汎用ドメインとバイオメディカルドメインの間には限界分布に差がある。
したがって、汎用ドメインで訓練されたモデルからバイオメディカルドメインへの学習表現の直接転送は、モデルの性能を損なう可能性がある。
結果: 一般と生物医学領域のデータセット間の限界分布の相違に対処するニューラルネットワークベースの手法であるbioadapt-mrc(biomedical machine reading comprehension task)のための,敵対的学習に基づくドメイン適応フレームワークを提案する。
BioADAPT-MRCは、優れたバイオメディカル-MRCモデルのトレーニングのために擬似ラベルを生成する必要性を緩和する。
そこで我々は,BioASQ-7b,BioASQ-8b,BioASQ-9bの3つのベンチマークMRCデータセットを用いて,BioADAPT-MRCの性能評価を行った。
以上の結果から,生体医学領域からの合成データや人間の注釈データを用いなければ,bioadapt-mrcはこれらのデータセットで最先端のパフォーマンスを達成できることが示唆された。
可用性: BioADAPT-MRC は https://github.com/mmahbub/BioADAPT-MRC でオープンソースプロジェクトとして無償公開されている。
関連論文リスト
- An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。
これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。
以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
論文 参考訳(メタデータ) (2024-02-21T11:27:31Z) - Progress and Opportunities of Foundation Models in Bioinformatics [77.74411726471439]
基礎モデル(FM)は、特に深層学習の領域において、計算生物学の新しい時代に定着した。
我々の焦点は、特定の生物学的問題にFMを応用することであり、研究ニーズに適切なFMを選択するために研究コミュニティを指導することを目的としています。
データノイズ、モデル説明可能性、潜在的なバイアスなど、生物学においてFMが直面する課題と限界を分析します。
論文 参考訳(メタデータ) (2024-02-06T02:29:17Z) - Multi-level biomedical NER through multi-granularity embeddings and
enhanced labeling [3.8599767910528917]
本稿では,複数のモデルの強みを統合するハイブリッドアプローチを提案する。
BERTは、文脈化された単語の埋め込み、文字レベルの情報キャプチャのための事前訓練されたマルチチャネルCNN、およびテキスト内の単語間の依存関係のシーケンスラベリングとモデル化のためのBiLSTM + CRFを提供する。
我々は、ベンチマークi2b2/2010データセットを用いて、F1スコア90.11を達成する。
論文 参考訳(メタデータ) (2023-12-24T21:45:36Z) - Biomedical Language Models are Robust to Sub-optimal Tokenization [30.175714262031253]
現代のバイオメディカル言語モデル(LM)は、標準的なドメイン固有のトークン化器を用いて事前訓練されている。
より正確なバイオメディカルトークン化器を用いたバイオメディカルLMの事前トレーニングでは,言語モデルの実体表現品質が向上しないことがわかった。
論文 参考訳(メタデータ) (2023-06-30T13:35:24Z) - BiomedGPT: A Unified and Generalist Biomedical Generative Pre-trained
Transformer for Vision, Language, and Multimodal Tasks [67.32172830174797]
バイオメディカルタスクのための,初のオープンソースで汎用的なビジュアル言語AIであるBiomedGPTを提案する。
26のデータセットで5つの臨床的に重要なタスクに対して16の最先端の結果が得られた。
論文 参考訳(メタデータ) (2023-05-26T17:14:43Z) - Interpretability from a new lens: Integrating Stratification and Domain
knowledge for Biomedical Applications [0.0]
本稿では, バイオメディカル問題データセットの k-fold cross-validation (CV) への階層化のための新しい計算手法を提案する。
このアプローチはモデルの安定性を改善し、信頼を確立し、トレーニングされたIMLモデルによって生成された結果の説明を提供する。
論文 参考訳(メタデータ) (2023-03-15T12:02:02Z) - AIONER: All-in-one scheme-based biomedical named entity recognition
using deep learning [7.427654811697884]
AIONERは最先端のディープラーニングとAIOスキーマに基づく汎用BioNERツールである。
AIONERは効果的で堅牢で、マルチタスク学習のような最先端のアプローチと好適に比較できる。
論文 参考訳(メタデータ) (2022-11-30T12:35:00Z) - EBOCA: Evidences for BiOmedical Concepts Association Ontology [55.41644538483948]
本論文は,生物医学領域の概念とそれらの関連性を記述するオントロジーであるEBOCAと,それらの関連性を支持するエビデンスを提案する。
DISNETのサブセットから得られるテストデータとテキストからの自動アソシエーション抽出が変換され、実際のシナリオで使用できる知識グラフが作成されるようになった。
論文 参考訳(メタデータ) (2022-08-01T18:47:03Z) - 2021 BEETL Competition: Advancing Transfer Learning for Subject
Independence & Heterogenous EEG Data Sets [89.84774119537087]
我々は、診断とBCI(Brain-Computer-Interface)に関する2つの伝達学習課題を設計する。
第1タスクは、患者全体にわたる自動睡眠ステージアノテーションに対処する医療診断に重点を置いている。
タスク2はBrain-Computer Interface (BCI)に集中しており、被験者とデータセットの両方にわたる運動画像のデコードに対処する。
論文 参考訳(メタデータ) (2022-02-14T12:12:20Z) - G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for
Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。
2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文 参考訳(メタデータ) (2021-01-27T19:28:04Z) - BioALBERT: A Simple and Effective Pre-trained Language Model for
Biomedical Named Entity Recognition [9.05154470433578]
既存のBioNERアプローチはこれらの問題を無視し、最先端(SOTA)モデルを直接採用することが多い。
本稿では,大規模バイオメディカルコーパスを用いた効果的なドメイン固有言語モデルであるALBERTを提案する。
論文 参考訳(メタデータ) (2020-09-19T12:58:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。