論文の概要: Contextual embedding and model weighting by fusing domain knowledge on Biomedical Question Answering

• arxiv url: http://arxiv.org/abs/2206.12866v1
• Date: Sun, 26 Jun 2022 12:47:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-29 08:31:42.202882
• Title: Contextual embedding and model weighting by fusing domain knowledge on Biomedical Question Answering
• Title（参考訳）: バイオメディカル質問回答におけるドメイン知識の融合によるコンテキスト埋め込みとモデル重み付け
• Authors: Yuxuan Lu, Jingya Yan, Zhixuan Qi, Zhongzheng Ge, Yongping Du
• Abstract要約: 本稿では,バイオメディカルドメインデータに基づいて事前学習したオープンドメインモデルaoaとbiobertモデルを組み合わせた文脈的手法を提案する。 我々は,大規模バイオメディカルコーパスの教師なし事前学習を採用し,バイオメディカル質問応答の教師なし微調整を行った。 実験結果から,我々のモデルは最先端システムよりも大きなマージンで優れていることがわかった。
• 参考スコア（独自算出の注目度）: 5.294803923794887
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Biomedical Question Answering aims to obtain an answer to the given question from the biomedical domain. Due to its high requirement of biomedical domain knowledge, it is difficult for the model to learn domain knowledge from limited training data. We propose a contextual embedding method that combines open-domain QA model \aoa and \biobert model pre-trained on biomedical domain data. We adopt unsupervised pre-training on large biomedical corpus and supervised fine-tuning on biomedical question answering dataset. Additionally, we adopt an MLP-based model weighting layer to automatically exploit the advantages of two models to provide the correct answer. The public dataset \biomrc constructed from PubMed corpus is used to evaluate our method. Experimental results show that our model outperforms state-of-the-art system by a large margin.
• Abstract（参考訳）: バイオメディカル質問回答は、バイオメディカル領域から与えられた質問に対する回答を得ることを目的としている。 生物医学的なドメイン知識の要求が高いため、限られたトレーニングデータからドメイン知識を学ぶことは困難である。 バイオメディカルドメインデータに基づいて事前学習したオープンドメインQAモデル \aoa と \biobert モデルを組み合わせたコンテキスト埋め込み手法を提案する。 我々は,大規模バイオメディカルコーパスの教師なし事前学習を採用し,バイオメディカル質問応答データセットの教師なし微調整を行った。 さらに,MLPに基づくモデル重み付け層を用いて,2つのモデルの利点を有効活用し,正解を与える。 PubMed corpusから構築した公開データセット \biomrc を用いて評価を行った。 実験の結果,本モデルが最先端システムを上回ることがわかった。

関連論文リスト

• BioMNER: A Dataset for Biomedical Method Entity Recognition [25.403593761614424]
  本稿では,生物医学的手法による実体認識のための新しいデータセットを提案する。 我々は、人間のアノテーションを支援するために、自動的なBioMethodエンティティ認識と情報検索システムを採用している。 実験の結果,言語モデルのパラメータ数が大きくなると,実体抽出パターンの有効同化が著しく阻害されることが判明した。
  論文  参考訳（メタデータ） (2024-06-28T16:34:24Z)
• Efficient Medical Question Answering with Knowledge-Augmented Question Generation [5.145812785735094]
  本稿では,医療領域における小言語モデルの習熟度を2倍のアプローチで向上させる手法を提案する。 まず、医療教科書のコーパスでモデルを微調整する。 そして、GPT-4を用いて、下流タスクに類似した質問を生成し、教科書の知識でトリガーし、モデルを微調整する。
  論文  参考訳（メタデータ） (2024-05-23T14:53:52Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text [82.7001841679981]
  BioMedLM は270億のパラメータ GPT スタイルの自己回帰モデルであり、PubMed の抽象概念と全記事に特化して訓練されている。 微調整すると、BioMedLMはより大規模なモデルと競合する強力な多重選択のバイオメディカルな質問応答結果を生成することができる。 BioMedLMは、医療トピックに関する患者の質問に対する有用な回答を生成するために、微調整することもできる。
  論文  参考訳（メタデータ） (2024-03-27T10:18:21Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Exploring the In-context Learning Ability of Large Language Model for Biomedical Concept Linking [4.8882241537236455]
  本研究では,生物医学的概念リンクのための大規模モデルのコンテキスト内学習機能を活用する手法について検討する。 提案手法は2段階のレトリーブ・アンド・ランク・フレームワークを採用する。 BC5CDRの病体正規化では90.%、化学体正規化では94.7%の精度を達成した。
  論文  参考訳（メタデータ） (2023-07-03T16:19:50Z)
• LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day [85.19963303642427]
  本稿では,バイオメディカルイメージのオープンな研究課題に答えられる視覚言語対話アシスタントを訓練するための費用効率のよいアプローチを提案する。 モデルはまず、フィギュア・キャプションのペアを使ってバイオメディカル・ボキャブラリをアライメントし、その後、オープンエンドの会話意味論を習得する。 これにより、バイオメディジンのための大規模言語と視覚アシスタントを15時間以内で(8つのA100で)訓練することができる。
  論文  参考訳（メタデータ） (2023-06-01T16:50:07Z)
• BioADAPT-MRC: Adversarial Learning-based Domain Adaptation Improves Biomedical Machine Reading Comprehension Task [4.837365865245979]
  本稿では,生物医学機械読解作業のための逆学習に基づくドメイン適応フレームワークを提案する。 BioADAPT-MRCは、一般的なドメインデータセットとバイオメディカルドメインデータセットの間の限界分布の相違に対処するニューラルネットワークベースの手法である。
  論文  参考訳（メタデータ） (2022-02-26T16:14:27Z)
• Scientific Language Models for Biomedical Knowledge Base Completion: An Empirical Study [62.376800537374024]
  我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。 LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-06-17T17:55:33Z)
• Boosting Low-Resource Biomedical QA via Entity-Aware Masking Strategies [25.990479833023166]
  バイオメディカル質問応答(QA)は、膨大な科学文献から高品質な情報を提供する能力に注目が集まっている。 バイオメディカル・エンティティ・アウェア・マスキング(BEM)と呼ばれるシンプルなアプローチを提案する。 マスク付き言語モデルにより、ドメインを特徴づける重要なエンティティに基づいてエンティティ中心の知識を学び、それらのエンティティをLM微調整の推進に活用します。 実験結果から, バイオメディカルQAデータセットにおける最先端モデルと同等の性能を示す。
  論文  参考訳（メタデータ） (2021-02-16T18:51:13Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。