論文の概要: Improved Biomedical Word Embeddings in the Transformer Era

• arxiv url: http://arxiv.org/abs/2012.11808v2
• Date: Thu, 24 Dec 2020 16:19:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 02:03:03.933227
• Title: Improved Biomedical Word Embeddings in the Transformer Era
• Title（参考訳）: 変圧器時代におけるバイオメディカルワード埋め込みの改善
• Authors: Jiho Noh, Ramakanth Kavuluru
• Abstract要約: まずスキップグラム法を用いて単語と概念の埋め込みを学び、相関情報でさらに微調整します。 先行研究により開発された単語関連性について,複数のデータセットを用いた調律された静的組込みの評価を行う。
• 参考スコア（独自算出の注目度）: 2.978663539080876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Biomedical word embeddings are usually pre-trained on free text corpora with neural methods that capture local and global distributional properties. They are leveraged in downstream tasks using various neural architectures that are designed to optimize task-specific objectives that might further tune such embeddings. Since 2018, however, there is a marked shift from these static embeddings to contextual embeddings motivated by language models (e.g., ELMo, transformers such as BERT, and ULMFiT). These dynamic embeddings have the added benefit of being able to distinguish homonyms and acronyms given their context. However, static embeddings are still relevant in low resource settings (e.g., smart devices, IoT elements) and to study lexical semantics from a computational linguistics perspective. In this paper, we jointly learn word and concept embeddings by first using the skip-gram method and further fine-tuning them with correlational information manifesting in co-occurring Medical Subject Heading (MeSH) concepts in biomedical citations. This fine-tuning is accomplished with the BERT transformer architecture in the two-sentence input mode with a classification objective that captures MeSH pair co-occurrence. In essence, we repurpose a transformer architecture (typically used to generate dynamic embeddings) to improve static embeddings using concept correlations. We conduct evaluations of these tuned static embeddings using multiple datasets for word relatedness developed by previous efforts. Without selectively culling concepts and terms (as was pursued by previous efforts), we believe we offer the most exhaustive evaluation of static embeddings to date with clear performance improvements across the board. We provide our code and embeddings for public use for downstream applications and research endeavors: https://github.com/bionlproc/BERT-CRel-Embeddings
• Abstract（参考訳）: バイオメディカルワードの埋め込みは通常、局所的およびグローバルな分布特性を捉える神経的手法で、自由テキストコーパスで事前訓練される。 それらは、これらの埋め込みをさらにチューニングするタスク固有の目的を最適化するために設計された、さまざまなニューラルアーキテクチャを使用して、下流タスクで活用される。 しかし、2018年以降、静的な埋め込みから言語モデル(例えばELMo、BERTやUMMFiTのようなトランスフォーマー)に動機づけられたコンテキスト埋め込みへの顕著なシフトがある。 これらの動的埋め込みは、文脈によって同義語や頭字語を区別できるという付加的な利点を持つ。 しかし、静的な埋め込みは依然として低リソース設定(スマートデバイス、IoT要素など)と、計算言語学の観点から語彙意味論の研究に関係している。 本稿では,まずスキップグラム法を用いて単語と概念の埋め込みを共同で学習し,さらにバイオメディカル引用における医用ヘッド(MeSH)の概念に現れる相関情報を微調整する。 この微調整は、メッシュペアの共起をキャプチャする分類目標を持つ2素入力モードのbertトランスフォーマーアーキテクチャによって達成される。 本質的には,動的埋め込みを生成するために使用されるトランスアーキテクチャを再利用して,概念相関を用いた静的埋め込みを改善する。 先行研究により開発された単語関連性について,複数のデータセットを用いた調律された静的組込みの評価を行う。 概念と用語を選択的にカリングすることなく(以前の取り組みによって追求されたように)、静的な埋め込みをこれまでで最も徹底的に評価し、ボード全体のパフォーマンス改善を図っていると信じています。 私たちは、ダウンストリームアプリケーションとリサーチの取り組みのために、コードと埋め込みを提供しています。

関連論文リスト

• Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [70.64617500380287]
  継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
  論文  参考訳（メタデータ） (2024-08-02T07:51:44Z)
• A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching [60.51839859852572]
  我々は,テキストを多言語セマンティックマッチングのためのマルチコンセプトに分解し,NERモデルに依存するモデルからモデルを解放することを提案する。 英語データセットのQQPとMRPC、中国語データセットのMedical-SMについて包括的な実験を行った。
  論文  参考訳（メタデータ） (2024-03-05T13:55:16Z)
• MoSECroT: Model Stitching with Static Word Embeddings for Crosslingual Zero-shot Transfer [50.40191599304911]
  クロスリンガルゼロショット転送のための静的単語埋め込みを用いたMoSECroTモデルスティッチについて紹介する。 本稿では,ソースコードPLMの埋め込みと対象言語の静的単語埋め込みのための共通空間を構築するために,相対表現を利用した最初のフレームワークを提案する。 提案するフレームワークは,MoSECroTに対処する際,弱いベースラインと競合するが,強いベースラインに比べて競合する結果が得られないことを示す。
  論文  参考訳（メタデータ） (2024-01-09T21:09:07Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Word Sense Induction with Knowledge Distillation from BERT [6.88247391730482]
  本稿では、文脈における単語の感覚に注意を払って、事前学習された言語モデル(BERT)から複数の単語感覚を抽出する手法を提案する。 文脈的単語類似性および感覚誘導タスクの実験は、この手法が最先端のマルチセンス埋め込みよりも優れているか、あるいは競合していることを示している。
  論文  参考訳（メタデータ） (2023-04-20T21:05:35Z)
• Combining Contrastive Learning and Knowledge Graph Embeddings to develop medical word embeddings for the Italian language [0.0]
  本論文は,イタリアの医療領域の未発見ニッチへの埋め込みを改良する試みである。 主な目的は、医療用語間の意味的類似性の精度を向上させることである。 イタリア語には医学的な文章や制御された語彙が欠けているため、我々は特定の解決法を開発した。
  論文  参考訳（メタデータ） (2022-11-09T17:12:28Z)
• TransDrift: Modeling Word-Embedding Drift using Transformer [8.707217592903735]
  単語埋め込みのための変換器に基づく予測モデルであるTransDriftを提案する。 我々のモデルは埋め込みドリフトの力学を正確に学習し、将来の埋め込みを予測する。 私たちの埋め込みは、以前の方法よりも優れたパフォーマンスをもたらします。
  論文  参考訳（メタデータ） (2022-06-16T10:48:26Z)
• Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution [124.99894592871385]
  本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-07T16:16:19Z)
• EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses [0.0]
  WordNetの豊富なセマンティック構造を活用して、マルチセンス埋め込みの品質を高めます。 M-SEの新たな分布意味類似度測定法を先行して導出する。 WSDとWordの類似度タスクを含む11のベンチマークデータセットの評価結果を報告します。
  論文  参考訳（メタデータ） (2021-02-27T14:36:55Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• Distributional semantic modeling: a revised technique to train term/word vector space models applying the ontology-related approach [36.248702416150124]
  ニューラルネットワークを用いた分散項表現(あるいは項埋め込み)学習による分布意味モデリングのための新しい手法を設計する。 Vec2graphは、動的かつインタラクティブなグラフとして単語埋め込み(私たちの場合の長期埋め込み)を視覚化するためのPythonライブラリである。
  論文  参考訳（メタデータ） (2020-03-06T18:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。