Fugu-MT 論文翻訳(概要): Vocabulary Transfer for Medical Texts

論文の概要: Vocabulary Transfer for Medical Texts

arxiv url: http://arxiv.org/abs/2208.02554v2
Date: Wed, 09 Oct 2024 16:07:04 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-10 14:28:42.942191
Title: Vocabulary Transfer for Medical Texts
Title（参考訳）: 医療用テキストの語彙移動
Authors: Priyanka Singh, Vladislav D. Mosin, Ivan P. Yamshchikov,
Abstract要約: 我々は,対象語彙を拡張して,ドメイン固有のバイオメディカル用語を組み込む手法である語彙拡張に焦点を当てた。以上の結果から,語彙拡張は,下流モデルの性能と推論時間の両方において,測定可能な改善をもたらすことが示唆された。
参考スコア（独自算出の注目度）: 10.220652487259683
License:
Abstract: Working within specific NLP subdomains presents significant challenges, primarily due to a persistent deficit of data. Stringent privacy concerns and limited data accessibility often drive this shortage. Additionally, the medical domain demands high accuracy, where even marginal improvements in model performance can have profound impacts. In this study, we investigate the potential of vocabulary transfer to enhance model performance in biomedical NLP tasks. Specifically, we focus on vocabulary extension, a technique that involves expanding the target vocabulary to incorporate domain-specific biomedical terms. Our findings demonstrate that vocabulary extension, leads to measurable improvements in both downstream model performance and inference time.
Abstract（参考訳）: 特定のNLPサブドメイン内での作業は、主にデータの持続的欠如による、重大な課題を示す。厳格なプライバシの懸念とデータアクセシビリティの制限が、この不足を招きかねない。さらに、医療領域は高い精度を必要とし、モデルパフォーマンスの限界的な改善でさえ大きな影響を与える可能性がある。本研究では,バイオメディカルNLPタスクのモデル性能を高めるために語彙移動の可能性を検討する。具体的には,対象語彙を拡張して,ドメイン固有のバイオメディカル用語を組み込む手法である語彙拡張に焦点を当てる。以上の結果から,語彙拡張は,下流モデルの性能と推論時間の両方において,測定可能な改善をもたらすことが示唆された。

関連論文リスト

Latent Paraphrasing: Perturbation on Layers Improves Knowledge Injection in Language Models [54.385486006684495]
LaPaelは、初期大規模言語モデル層に入力依存ノイズを適用する潜在レベルパラフレーズ法である。質問応答ベンチマーク実験により、LaPaelは、標準的な微調整および既存のノイズベースアプローチよりも知識注入を改善することを示した。
論文参考訳（メタデータ） (2024-11-01T15:47:05Z)
An Analysis of BPE Vocabulary Trimming in Neural Machine Translation [56.383793805299234]
語彙トリミング(vocabulary trimming)は、まれなサブワードをコンポーネントサブワードに置き換える後処理のステップである。ボキャブラリトリミングは性能向上に失敗し,さらに大きな劣化を招きやすいことを示す。
論文参考訳（メタデータ） (2024-03-30T15:29:49Z)
Enhancing Medical Specialty Assignment to Patients using NLP Techniques [0.0]
本稿では,計算効率を向上しつつ,優れた性能を実現する方法を提案する。具体的には、キーワードを用いて、大規模なテキストコーパスで事前訓練された言語モデルより優れたディープラーニングアーキテクチャを訓練する。その結果,テキスト分類におけるキーワードの利用により,分類性能が著しく向上することが示唆された。
論文参考訳（メタデータ） (2023-12-09T14:13:45Z)
Towards preserving word order importance through Forced Invalidation [80.33036864442182]
事前学習された言語モデルは単語の順序に敏感であることを示す。我々は,単語順序の重要性を維持するために強制的無効化を提案する。実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
論文参考訳（メタデータ） (2023-04-11T13:42:10Z)
Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。提案手法により,下流タスクの性能が大幅に向上した。
論文参考訳（メタデータ） (2023-03-08T03:56:31Z)
Leveraging knowledge graphs to update scientific word embeddings using latent semantic imputation [0.0]
glslsiは、最新の知識グラフからドメイン固有の単語を埋め込むことができることを示す。生物医学領域における希少項およびOOV項に対して,LSIは信頼性の高い埋め込みベクトルを生成可能であることを示す。
論文参考訳（メタデータ） (2022-10-27T12:15:26Z)
Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
バイオメディカルNLPの微調整安定性に関する系統的研究を行った。我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2021-12-15T04:20:35Z)
AVocaDo: Strategy for Adapting Vocabulary to Downstream Domain [17.115865763783336]
本稿では,語彙を最適化可能なパラメータとして考慮し,ドメイン固有の語彙で拡張することで語彙を更新することを提案する。我々は、事前学習された言語モデルから学習した知識を正規化項で活用することにより、付加された単語の埋め込みを、過剰適合から下流データへ保存する。
論文参考訳（メタデータ） (2021-10-26T06:26:01Z)
Recognising Biomedical Names: Challenges and Solutions [9.51284672475743]
本稿では,不連続な言及を認識可能な遷移ベースNERモデルを提案する。また、適切な事前学習データを通知する費用対効果のアプローチも開発している。我々の貢献は、特に新しいバイオメディカル・アプリケーションが必要な場合に、明らかな実践的意味を持つ。
論文参考訳（メタデータ） (2021-06-23T08:20:13Z)
Integration of Domain Knowledge using Medical Knowledge Graph Deep Learning for Cancer Phenotyping [6.077023952306772]
本稿では,医学用語からの外部知識を単語埋め込みによって捉えた文脈に統合する手法を提案する。提案手法は,Multitask Convolutional Neural Network (MT-CNN) を用いて,900Kの癌病理所見のデータセットから6つのがん特性を抽出する。
論文参考訳（メタデータ） (2021-01-05T03:59:43Z)
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。