論文の概要: Rewire-then-Probe: A Contrastive Recipe for Probing Biomedical Knowledge
of Pre-trained Language Models
- arxiv url: http://arxiv.org/abs/2110.08173v1
- Date: Fri, 15 Oct 2021 16:00:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-18 13:43:06.345116
- Title: Rewire-then-Probe: A Contrastive Recipe for Probing Biomedical Knowledge
of Pre-trained Language Models
- Title(参考訳): Rewire-then-Probe:事前学習した言語モデルの生体医学的知識を探索するための対照的なレシピ
- Authors: Zaiqiao Meng, Fangyu Liu, Ehsan Shareghi, Yixuan Su, Charlotte
Collins, Nigel Collier
- Abstract要約: 我々は,Unified Medical Language System (UMLS) Metathesaurus に基づくバイオメディカル知識探索ベンチマーク MedLAMA をリリースする。
我々は、最先端のPLMの幅広いスペクトルをテストし、ベンチマークのアプローチを検証し、acc@10の3%に到達した。
提案するContrastive-Probeは,新しい自己監督型コントラスト型探索手法で,探索データを用いずに基礎となるPLMを調整する。
- 参考スコア(独自算出の注目度): 16.535312449449165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge probing is crucial for understanding the knowledge transfer
mechanism behind the pre-trained language models (PLMs). Despite the growing
progress of probing knowledge for PLMs in the general domain, specialised areas
such as biomedical domain are vastly under-explored. To catalyse the research
in this direction, we release a well-curated biomedical knowledge probing
benchmark, MedLAMA, which is constructed based on the Unified Medical Language
System (UMLS) Metathesaurus. We test a wide spectrum of state-of-the-art PLMs
and probing approaches on our benchmark, reaching at most 3% of acc@10. While
highlighting various sources of domain-specific challenges that amount to this
underwhelming performance, we illustrate that the underlying PLMs have a higher
potential for probing tasks. To achieve this, we propose Contrastive-Probe, a
novel self-supervised contrastive probing approach, that adjusts the underlying
PLMs without using any probing data. While Contrastive-Probe pushes the acc@10
to 28%, the performance gap still remains notable. Our human expert evaluation
suggests that the probing performance of our Contrastive-Probe is still
under-estimated as UMLS still does not include the full spectrum of factual
knowledge. We hope MedLAMA and Contrastive-Probe facilitate further
developments of more suited probing techniques for this domain.
- Abstract(参考訳): 知識探索は、事前訓練された言語モデル(PLM)の背後にある知識伝達機構を理解するために重要である。
一般ドメインにおけるplmの知識調査の進展にもかかわらず、バイオメディカルドメインのような専門分野は非常に未開拓である。
この方向の研究を触媒するために,我々は,統一医療言語システム (umls) メタテッサロスに基づいて構築された,生物医学的知識調査ベンチマークである medlama をリリースする。
我々は、我々のベンチマークで最先端plmと調査アプローチの幅広い範囲をテストし、acc@10の最大3%に到達しました。
ドメイン固有の様々な課題の源泉を強調しながら、基礎となるPLMがタスクを探索する可能性が高いことを示す。
そこで本研究では,新たな自己監督型コントラスト探索手法であるContrastive-Probeを提案する。
コントラストプロベはacc@10を28%まで押し上げるが、パフォーマンスの差は依然として顕著である。
我々の専門家による評価は、UMLSがまだ事実知識の全スペクトルを含まないため、コントラスト・プローブの探索性能はまだ過小評価されていることを示唆している。
我々は、MedLAMAとContrastive-Probeがこの領域にもっと適した探索技術の開発を促進することを願っている。
関連論文リスト
- Diversifying Knowledge Enhancement of Biomedical Language Models using
Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。
バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。
計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文 参考訳(メタデータ) (2023-12-21T14:26:57Z) - Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case
Study in Medicine [89.46836590149883]
本研究は, GPT-4の医学的課題評価における能力について, 専門訓練の欠如による先行研究に基づくものである。
イノベーションを促進することで、より深い専門能力が解放され、GPT-4が医学ベンチマークの先行結果に容易に勝っていることが分かる。
Medpromptを使用すると、GPT-4はMultiMedQAスイートのベンチマークデータセットの9つすべてに対して最先端の結果を得る。
論文 参考訳(メタデータ) (2023-11-28T03:16:12Z) - RO-LLaMA: Generalist LLM for Radiation Oncology via Noise Augmentation
and Consistency Regularization [51.877826904868975]
放射線腫瘍学の分野に適した汎用汎用大言語モデル(LLM)であるRO-LLaMAを提案する。
このモデルは、臨床報告の要約などの様々なタスクに適応し、放射線腫瘍専門医の幅広いワークフローをシームレスにカバーする。
また,新しいCEFTune(Consistency Embedding Fine-Tuning)技術を提案する。
論文 参考訳(メタデータ) (2023-11-27T14:49:06Z) - Knowledge-injected Prompt Learning for Chinese Biomedical Entity
Normalization [6.927883826415262]
本稿では,バイオメディカルエンティティ正規化(BEN)課題に取り組むために,知識注入型プロンプト学習(PL-Knowledge)手法を提案する。
具体的には、候補エンティティマッチング、知識抽出、知識符号化、知識注入、予測出力の5段階からなる。
医療機関に含まれる知識項目を効果的に符号化することにより、追加の知識は、医療機関間の潜伏関係を捕捉するモデルの能力を高める。
論文 参考訳(メタデータ) (2023-08-23T09:32:40Z) - BIOptimus: Pre-training an Optimal Biomedical Language Model with
Curriculum Learning for Named Entity Recognition [0.0]
大規模コーパス上での自己教師型設定で事前訓練された言語モデル(LM)を用いることで,ラベルデータに制限があるという問題に対処できる。
最近のバイオメディカル言語処理の研究は、多くのバイオメディカルLMを事前訓練した。
本稿では, バイオメディカル LM をスクラッチから事前訓練し, 継続的に事前訓練するなど, 様々な事前訓練方法を検討することを目的とする。
論文 参考訳(メタデータ) (2023-08-16T18:48:01Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - Injecting Knowledge into Biomedical Pre-trained Models via Polymorphism
and Synonymous Substitution [22.471123408160658]
事前学習言語モデル(PLM)は、トレーニングデータに存在する関係知識を格納できると考えられていた。
PLMの低周波リレーショナル知識は、高周波リレーショナル知識と比較して過度に表現される。
PLMにリレーショナル知識を注入する,単純かつ効果的な手法を提案する。
論文 参考訳(メタデータ) (2023-05-24T10:48:53Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳(メタデータ) (2023-05-15T15:47:09Z) - Context Variance Evaluation of Pretrained Language Models for
Prompt-based Biomedical Knowledge Probing [9.138354194112395]
本稿では,プロンプトに基づく探索手法が,知識の少ない領域のみを探索できることを示す。
そこで我々は,文脈変化を即時生成に導入し,新しいランク変化に基づく評価指標を提案する。
論文 参考訳(メタデータ) (2022-11-18T14:44:09Z) - Self-Supervised Knowledge Assimilation for Expert-Layman Text Style
Transfer [63.72621204057025]
エキスパート・レイマン・テキスト・スタイル・トランスファー技術は、科学コミュニティと一般大衆とのコミュニケーションを改善する可能性がある。
専門家が生み出す高品質な情報は、しばしば難しいジャーゴンの平民が理解するのに苦労している。
これは医療分野において特に顕著な問題であり、レイマンはしばしばオンラインの医療テキストに混同される。
論文 参考訳(メタデータ) (2021-10-06T17:57:22Z) - Can Language Models be Biomedical Knowledge Bases? [18.28724653601921]
我々は、バイオメディカルLMを探索するための49Kのバイオメディカル事実知識トリプルからなるBioLAMAベンチマークを作成する。
近年提案された生物医学的LMは,生物医学的知識の検索において最大18.51%のAcc@5を達成できることがわかった。
論文 参考訳(メタデータ) (2021-09-15T08:34:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。