論文の概要: Localising In-Domain Adaptation of Transformer-Based Biomedical Language
Models
- arxiv url: http://arxiv.org/abs/2212.10422v1
- Date: Tue, 20 Dec 2022 16:59:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 13:35:00.874952
- Title: Localising In-Domain Adaptation of Transformer-Based Biomedical Language
Models
- Title(参考訳): トランスフォーマーに基づくバイオメディカル言語モデルのドメイン内適応
- Authors: Tommaso Mario Buonocore (1), Claudio Crema (2), Enea Parimbelli (1),
Alberto Redolfi (2), Riccardo Bellazzi (1) ((1) Dept. of Electrical, Computer
and Biomedical Engineering, University of Pavia, (2) Laboratory of
Neuroinformatics, IRCCS Istituto Centro San Giovanni di Dio Fatebenefratelli)
- Abstract要約: 我々は、英語以外の言語で生物医学的言語モデルを導出するための2つのアプローチを提案する。
1つは英語リソースのニューラルマシン翻訳に基づいており、もう1つは品質よりも量を好むが、もう1つはイタリア語の高品位で細いスコープのコーパスに基づいており、したがって量よりも品質を好む。
本研究は, バイオメディカル適応のためのデータ量よりもデータ量に厳しい制約があることを示しているが, 比較的大小のコーパスを扱う場合であっても, 高品質なデータの結合によりモデル性能が向上することを示した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the era of digital healthcare, the huge volumes of textual information
generated every day in hospitals constitute an essential but underused asset
that could be exploited with task-specific, fine-tuned biomedical language
representation models, improving patient care and management. For such
specialized domains, previous research has shown that fine-tuning models
stemming from broad-coverage checkpoints can largely benefit additional
training rounds over large-scale in-domain resources. However, these resources
are often unreachable for less-resourced languages like Italian, preventing
local medical institutions to employ in-domain adaptation. In order to reduce
this gap, our work investigates two accessible approaches to derive biomedical
language models in languages other than English, taking Italian as a concrete
use-case: one based on neural machine translation of English resources,
favoring quantity over quality; the other based on a high-grade, narrow-scoped
corpus natively in Italian, thus preferring quality over quantity. Our study
shows that data quantity is a harder constraint than data quality for
biomedical adaptation, but the concatenation of high-quality data can improve
model performance even when dealing with relatively size-limited corpora. The
models published from our investigations have the potential to unlock important
research opportunities for Italian hospitals and academia. Finally, the set of
lessons learned from the study constitutes valuable insights towards a solution
to build biomedical language models that are generalizable to other
less-resourced languages and different domain settings.
- Abstract(参考訳): デジタル医療の時代には、病院で毎日生成される膨大なテキスト情報は、タスク固有の、微調整されたバイオメディカル言語表現モデル、患者のケアと管理の改善で活用できる、必須だが未使用の資産である。
このような特殊なドメインに対しては、広範囲のチェックポイントから派生した微調整モデルが、大規模なドメイン内リソースに対する追加のトレーニングラウンドに大きく貢献することを示した。
しかし、これらのリソースはイタリア語のような低リソース言語には到達できないことが多く、地元の医療機関がドメイン内適応を採用するのを妨げている。
このギャップを減らすために,我々の研究は,英語以外の言語で生物医学的言語モデルを導出するための2つのアプローチについて検討した。1つは,英語リソースのニューラルネットワーク翻訳に基づく,品質よりも量を重視する,もう1つは,イタリア語でネイティブに,高品質で狭スコープのコーパスに基づく,量よりも品質を優先する,という,具体的なユースケースである。
本研究は, 生物医学的適応のためのデータ品質よりもデータ量に厳しい制約があることを示すが, 高品質なデータの結合は, 比較的サイズが制限されたコーパスを扱う場合でも, モデル性能を向上させることができる。
我々の調査から得られたモデルは、イタリアの病院やアカデミアにとって重要な研究機会を開放する可能性がある。
最後に、この研究から学んだ一連の教訓は、他の低リソース言語や異なるドメイン設定に一般化可能なバイオメディカル言語モデルを構築するためのソリューションに対する貴重な洞察を構成する。
関連論文リスト
- DAEDRA: A language model for predicting outcomes in passive
pharmacovigilance reporting [0.0]
DAEDRAは、有害事象報告における規制関連結果を検出するために設計された大きな言語モデルである。
本稿では,DAEDRAの概念,設計,訓練,評価について述べる。
論文 参考訳(メタデータ) (2024-02-10T16:48:45Z) - Large language models in bioinformatics: applications and perspectives [14.16418711188321]
大規模言語モデル (LLMs) はディープラーニングに基づく人工知能モデルである。
本総説では,ゲノム学,転写学,薬物発見,単一細胞解析における大規模言語モデルの応用について検討する。
論文 参考訳(メタデータ) (2024-01-08T17:26:59Z) - Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
論文 参考訳(メタデータ) (2023-10-23T17:42:01Z) - MedEval: A Multi-Level, Multi-Task, and Multi-Domain Medical Benchmark
for Language Model Evaluation [22.986061896641083]
MedEvalは、医療のための言語モデルの開発を促進するために、マルチレベル、マルチタスク、マルチドメインの医療ベンチマークである。
22,779の文と21,228のレポートを収集し、専門家のアノテーションを複数のレベルで提供し、データの詳細な使用可能性を提供します。
論文 参考訳(メタデータ) (2023-10-21T18:59:41Z) - Towards Best Practices for Training Multilingual Dense Retrieval Models [54.91016739123398]
我々は,このような設計を用いて,多種多様言語における単言語検索の課題に焦点をあてる。
本研究は多言語高密度検索モデルのトレーニングのための「ベストプラクティス」ガイドとして組織されている。
論文 参考訳(メタデータ) (2022-04-05T17:12:53Z) - Biomedical and Clinical Language Models for Spanish: On the Benefits of
Domain-Specific Pretraining in a Mid-Resource Scenario [0.05277024349608833]
本研究は, 異なる事前学習選択を実験することにより, スペイン語の生物医学的, 臨床的言語モデルを示す。
モデルをスクラッチからトレーニングするための十分な臨床データがないため,混合ドメイン事前訓練法とクロスドメイン移行法を適用し,優れたバイオクリニカルモデルを構築した。
論文 参考訳(メタデータ) (2021-09-08T12:12:07Z) - Learning Domain-Specialised Representations for Cross-Lingual Biomedical
Entity Linking [66.76141128555099]
言語横断型バイオメディカルエンティティリンクタスク(XL-BEL)を提案する。
まず、標準単言語英語BELタスクを超えて、標準単言語および多言語LMと同様に、標準的な知識に依存しない能力について検討する。
次に、リソースに富んだ言語からリソースに乏しい言語にドメイン固有の知識を移すことの課題に対処する。
論文 参考訳(メタデータ) (2021-05-30T00:50:00Z) - Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language
Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。
本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。
提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文 参考訳(メタデータ) (2020-11-23T16:00:42Z) - BioMegatron: Larger Biomedical Domain Language Model [10.861369276414525]
ドメイン言語アプリケーションの性能に影響を与えるいくつかの要因について検討し、評価する。
より大規模なドメインコーパスでトレーニングしたBioMegatronモデルとベンチマークで一貫した改善を示す。
論文 参考訳(メタデータ) (2020-10-12T22:46:10Z) - Domain-Specific Language Model Pretraining for Biomedical Natural
Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。
実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文 参考訳(メタデータ) (2020-07-31T00:04:15Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳(メタデータ) (2020-04-30T16:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。