論文の概要: BERT might be Overkill: A Tiny but Effective Biomedical Entity Linker based on Residual Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2109.02237v1
• Date: Mon, 6 Sep 2021 04:25:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-07 16:59:56.524574
• Title: BERT might be Overkill: A Tiny but Effective Biomedical Entity Linker based on Residual Convolutional Neural Networks
• Title（参考訳）: BERTがオーバースキルになるかもしれない:残差畳み込みニューラルネットワークに基づく、わずかながら効果的なバイオメディカルエンティティリンカー
• Authors: Tuan Lai, Heng Ji, and ChengXiang Zhai
• Abstract要約: バイオメディカル・エンティティ・リンクのための残差接続を有する効率的な畳み込みニューラルネットワークを提案する。 我々のモデルは、最先端のBERTベースモデルと同等またはそれ以上のリンク精度を実現する。
• 参考スコア（独自算出の注目度）: 41.528797439272175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biomedical entity linking is the task of linking entity mentions in a biomedical document to referent entities in a knowledge base. Recently, many BERT-based models have been introduced for the task. While these models have achieved competitive results on many datasets, they are computationally expensive and contain about 110M parameters. Little is known about the factors contributing to their impressive performance and whether the over-parameterization is needed. In this work, we shed some light on the inner working mechanisms of these large BERT-based models. Through a set of probing experiments, we have found that the entity linking performance only changes slightly when the input word order is shuffled or when the attention scope is limited to a fixed window size. From these observations, we propose an efficient convolutional neural network with residual connections for biomedical entity linking. Because of the sparse connectivity and weight sharing properties, our model has a small number of parameters and is highly efficient. On five public datasets, our model achieves comparable or even better linking accuracy than the state-of-the-art BERT-based models while having about 60 times fewer parameters.
• Abstract（参考訳）: 生物医学的実体リンク(英語: biomedical entity link)は、生物医学的文書におけるエンティティ言及と知識ベースにおける参照エンティティをリンクするタスクである。 近年,BERTベースのモデルが多く導入されている。 これらのモデルは多くのデータセットで競合する結果を得たが、計算コストが高く、約110万のパラメータを含んでいる。 パフォーマンスに寄与する要因や、オーバーパラメータ化が必要かどうかについては、ほとんど分かっていない。 本研究では,これらの大きなBERTモデルの内部動作機構に光を当てる。 調査実験の結果,入力語順がシャッフルされた場合や注意範囲が固定されたウィンドウサイズに制限された場合のみ,エンティティリンク性能がわずかに変化することがわかった。 そこで本研究では,生体エンティティリンクのための残差接続を有する効率的な畳み込みニューラルネットワークを提案する。 疎結合性と重み共有特性のため,モデルには少数のパラメータと高い効率性がある。 5つの公開データセットにおいて、我々のモデルは最先端のBERTベースモデルと同等またはそれ以上のリンク精度を達成し、パラメータの約60倍も少ない。

関連論文リスト

• BioBLP: A Modular Framework for Learning on Multimodal Biomedical Knowledge Graphs [3.780924717521521]
  知識グラフへの埋め込みを学習するためのモジュラーフレームワークを提案する。 異なるモダリティの属性データをエンコードできると同時に、属性が欠けているエンティティもサポートする。 約200万トリプルのバイオメディカルKGを用いてモデルを訓練する。
  論文  参考訳（メタデータ） (2023-06-06T11:49:38Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• ReFinED: An Efficient Zero-shot-capable Approach to End-to-End Entity Linking [5.382800665115746]
  ReFinEDは効率的なエンドツーエンドのエンティティリンクモデルである。 単一のフォワードパスで、ドキュメント内のすべての参照に対して、参照検出、きめ細かいエンティティタイピング、エンティティの曖昧さを実行する。 標準エンティティリンクデータセットの最先端パフォーマンスを平均3.7 F1で上回る。
  論文  参考訳（メタデータ） (2022-07-08T19:20:42Z)
• Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
  BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。 これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。 本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-30T06:32:47Z)
• Entity Linking and Discovery via Arborescence-based Supervised Clustering [35.93568319872986]
  本稿では,言及親和性を完全に活用する新しいトレーニングと推論手法を提案する。 我々は,この手法がエンティティ発見に優雅に拡張されていることを示す。 我々はZero-Shot Entity LinkingデータセットとMedMentionsに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-09-02T23:05:58Z)
• Fast and Effective Biomedical Entity Linking Using a Dual Encoder [48.86736921025866]
  文書中の複数の言及を1ショットで解決するBERTベースのデュアルエンコーダモデルを提案する。 本稿では,提案モデルが既存のBERTモデルよりも複数倍高速であり,バイオメディカルエンティティリンクの精度に競争力があることを示す。
  論文  参考訳（メタデータ） (2021-03-08T19:32:28Z)
• A Lightweight Neural Model for Biomedical Entity Linking [1.8047694351309205]
  本論文では,生物医学的実体連携のための軽量ニューラル手法を提案する。 本手法では,アライメント層とアライメント機構を用いて参照とエンティティ名の違いをキャプチャする。 私達のモデルは標準的な評価のベンチマークの前の仕事と競争です。
  論文  参考訳（メタデータ） (2020-12-16T10:34:37Z)
• DecAug: Augmenting HOI Detection via Decomposition [54.65572599920679]
  現在のアルゴリズムでは、データセット内のトレーニングサンプルやカテゴリの不均衡が不足している。 本稿では,HOI検出のためのDECAugと呼ばれる効率的かつ効率的なデータ拡張手法を提案する。 実験の結果,V-COCOおよびHICODETデータセットの3.3mAPと1.6mAPの改善が得られた。
  論文  参考訳（メタデータ） (2020-10-02T13:59:05Z)
• ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
  BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。 そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。 新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
  論文  参考訳（メタデータ） (2020-08-06T07:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。