論文の概要: Injecting Knowledge into Biomedical Pre-trained Models via Polymorphism and Synonymous Substitution

• arxiv url: http://arxiv.org/abs/2305.15010v1
• Date: Wed, 24 May 2023 10:48:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 16:56:42.787799
• Title: Injecting Knowledge into Biomedical Pre-trained Models via Polymorphism and Synonymous Substitution
• Title（参考訳）: 生物医学的事前学習モデルに知識を注入する多型と同名置換
• Authors: Hongbo Zhang and Xiang Wan and Benyou Wang
• Abstract要約: 事前学習言語モデル(PLM)は、トレーニングデータに存在する関係知識を格納できると考えられていた。 PLMの低周波リレーショナル知識は、高周波リレーショナル知識と比較して過度に表現される。 PLMにリレーショナル知識を注入する,単純かつ効果的な手法を提案する。
• 参考スコア（独自算出の注目度）: 22.471123408160658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained language models (PLMs) were considered to be able to store relational knowledge present in the training data. However, some relational knowledge seems to be discarded unsafely in PLMs due to \textbf{report bias}: low-frequency relational knowledge might be underexpressed compared to high-frequency one in PLMs. This gives us a hint that relational knowledge might not be redundant to the stored knowledge of PLMs, but rather be complementary. To additionally inject relational knowledge into PLMs, we propose a simple-yet-effective approach to inject relational knowledge into PLMs, which is inspired by three observations (namely, polymorphism, synonymous substitution, and association). In particular, we switch entities in the training corpus to related entities (either hypernyms/hyponyms/synonyms, or arbitrarily-related concepts). Experimental results show that the proposed approach could not only better capture relational knowledge, but also improve the performance in various biomedical downstream tasks. Our model is available in \url{https://github.com/StevenZHB/BioPLM_InjectingKnowledge}.
• Abstract（参考訳）: 事前学習言語モデル(PLM)は、トレーニングデータに存在する関係知識を格納できると考えられていた。 しかし、いくつかの関係知識は \textbf{report bias} のためにplmにおいて安全でない形で破棄されているように見える: 低頻度関係知識はplmの高周波知識と比較して過度に表現される可能性がある。 このことは、関係知識が PLM の格納された知識に冗長ではなく、むしろ補完的なものであることを示唆する。 PLMにリレーショナル知識を注入するために,3つの観測(多形性,同義置換,関連性)にインスパイアされたPLMにリレーショナル知識を注入する手法を提案する。 特に、トレーニングコーパス内のエンティティを関連エンティティ(ハイパーnyms/hyponyms/synonyms、あるいは任意関連概念)に切り替えます。 実験結果から,提案手法は関係知識を捉えるだけでなく,様々な生物医学的下流タスクの性能を向上させることができることがわかった。 我々のモデルは \url{https://github.com/StevenZHB/BioPLM_InjectingKnowledge} で利用可能です。

関連論文リスト

• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• Biomedical Entity Linking with Triple-aware Pre-Training [7.536753993136013]
  我々は,KGから合成したコーパスを用いて,強力な大規模言語モデル(LLM)を事前学習するフレームワークを提案する。 評価では、同義語、記述、関係情報を含む利点を確認できない。
  論文  参考訳（メタデータ） (2023-08-28T09:06:28Z)
• Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
  差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。 鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。 PlugLMは4つのドメインで平均3.95のF1改善を実現している。
  論文  参考訳（メタデータ） (2023-05-19T10:01:55Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• Causality-aware Concept Extraction based on Knowledge-guided Prompting [17.4086571624748]
  概念は自然言語理解の恩恵を受けるが、既存の知識グラフ(KG)では完全とは程遠い。 近年,テキストベースの概念抽出において,事前学習言語モデル (PLM) が広く用いられている。 本稿では, PLM を用いた抽出器に知識誘導型プロンプトを装着することで, 概念バイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2023-05-03T03:36:20Z)
• Context Variance Evaluation of Pretrained Language Models for Prompt-based Biomedical Knowledge Probing [9.138354194112395]
  本稿では,プロンプトに基づく探索手法が,知識の少ない領域のみを探索できることを示す。 そこで我々は,文脈変化を即時生成に導入し,新しいランク変化に基づく評価指標を提案する。
  論文  参考訳（メタデータ） (2022-11-18T14:44:09Z)
• Pre-training Language Models with Deterministic Factual Knowledge [42.812774794720895]
  我々は, PLM が残りのコンテキストとマスキングコンテンツとの間にある決定論的関係を学習させることを提案する。 2つの事前学習タスクを導入し、マスクを充填する際の決定論的関係に依存するようにPLMを動機付けている。 実験により, PLMは実知識の収集において, 良好な堅牢性が得られることが示された。
  論文  参考訳（メタデータ） (2022-10-20T11:04:09Z)
• Meta Knowledge Condensation for Federated Learning [65.20774786251683]
  既存のフェデレートされた学習パラダイムは通常、より強力なモデルを達成するために、中央の解決器で分散モデルを広範囲に交換する。 これにより、特にデータ分散が不均一である場合、サーバと複数のクライアントの間で深刻な通信負荷が発生します。 既存のパラダイムとは違って,フェデレート学習におけるコミュニケーションコストを大幅に削減する新たな視点を導入する。
  論文  参考訳（メタデータ） (2022-09-29T15:07:37Z)
• A Simple but Effective Pluggable Entity Lookup Table for Pre-trained Language Models [93.39977756450354]
  本稿では,シンプルで効果的なPugable Entity Lookup Table (PELT) をオンデマンドで構築することを提案する。 PELTは、事前訓練された言語モデルにエンティティ補足的知識を注入するための入力として、相互に接続することができる。 知識関連タスクの実験により,私たちの手法であるPELTが,関連コーパスからのエンティティ知識をPLMに柔軟かつ効果的に伝達できることが実証された。
  論文  参考訳（メタデータ） (2022-02-27T16:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。