論文の概要: Harnessing the Power of BERT in the Turkish Clinical Domain: Pretraining
Approaches for Limited Data Scenarios
- arxiv url: http://arxiv.org/abs/2305.03788v1
- Date: Fri, 5 May 2023 18:39:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 19:33:20.663918
- Title: Harnessing the Power of BERT in the Turkish Clinical Domain: Pretraining
Approaches for Limited Data Scenarios
- Title（参考訳）: トルコのクリニカルドメインにおけるBERTの力のハーネス : 限られたデータシナリオに対する事前訓練アプローチ
- Authors: Hazal T\"urkmen, O\u{g}uz Dikenelli, Cenk Eraslan, Mehmet Cem
\c{C}all{\i}, S\"uha S\"ureyya \"Ozbek
- Abstract要約: General Turk BERT model (BERTurk) と TurkRadBERT-task v1 は、どちらも実質的な汎用ドメインコーパスからの知識を活用し、全体的なパフォーマンスを最もよく示している。
本研究は,モデル性能向上のための事前学習におけるドメイン固有語彙の重要性を裏付けるものである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, major advancements in natural language processing (NLP) have
been driven by the emergence of large language models (LLMs), which have
significantly revolutionized research and development within the field.
Building upon this progress, our study delves into the effects of various
pre-training methodologies on Turkish clinical language models' performance in
a multi-label classification task involving radiology reports, with a focus on
addressing the challenges posed by limited language resources. Additionally, we
evaluated the simultaneous pretraining approach by utilizing limited clinical
task data for the first time. We developed four models, including
TurkRadBERT-task v1, TurkRadBERT-task v2, TurkRadBERT-sim v1, and
TurkRadBERT-sim v2. Our findings indicate that the general Turkish BERT model
(BERTurk) and TurkRadBERT-task v1, both of which utilize knowledge from a
substantial general-domain corpus, demonstrate the best overall performance.
Although the task-adaptive pre-training approach has the potential to capture
domain-specific patterns, it is constrained by the limited task-specific corpus
and may be susceptible to overfitting. Furthermore, our results underscore the
significance of domain-specific vocabulary during pre-training for enhancing
model performance. Ultimately, we observe that the combination of
general-domain knowledge and task-specific fine-tuning is essential for
achieving optimal performance across a range of categories. This study offers
valuable insights for developing effective Turkish clinical language models and
can guide future research on pre-training techniques for other low-resource
languages within the clinical domain.
- Abstract（参考訳）: 近年,大規模言語モデル (LLM) の出現により, 自然言語処理 (NLP) の進歩が加速し, この分野における研究・開発に大きな革命をもたらした。
本研究は, 放射線学報告を含む多言語分類課題において, トルコ語臨床言語モデルの性能に及ぼす事前学習手法の影響を考察し, 限られた言語資源がもたらす課題に対処することに焦点を当てた。
また,臨床データを限定的に活用し,同時事前訓練のアプローチを初めて評価した。
我々はTurcRadBERT-task v1,TurkRadBERT-task v2,TurkRadBERT-sim v1,TurkRadBERT-sim v2の4つのモデルを開発した。
以上の結果から,トルコのBERTモデル (BERTurk) とTurkRadBERT-task v1 は,いずれも実質的な汎用ドメインコーパスからの知識を生かしたもので,総合的な性能が最も優れていることが示唆された。
task-adaptive pre-trainingアプローチはドメイン固有のパターンをキャプチャする可能性があるが、限定されたタスク固有のコーパスによって制限され、オーバーフィットの影響を受けやすい。
さらに,モデル性能向上のための事前学習におけるドメイン固有語彙の重要性を強調する。
最終的に、汎用知識とタスク固有の微調整の組み合わせは、様々なカテゴリで最適なパフォーマンスを達成するために不可欠である。
本研究は、効果的なトルコ語臨床言語モデルの開発に有用な知見を提供し、臨床領域内の他の低リソース言語に対する事前学習技術の今後の研究を導くことができる。
関連論文リスト
- Bridging the Bosphorus: Advancing Turkish Large Language Models through Strategies for Low-Resource Language Adaptation and Benchmarking [1.3716808114696444]
大規模言語モデル(LLM)は様々な分野において重要になってきており、表現不足の言語における高品質なモデルの緊急性を強調している。
本研究では、データ不足、モデル選択、評価、計算制限など、低リソース言語が直面する固有の課題について検討する。
論文 参考訳（メタデータ） (2024-05-07T21:58:45Z) - Scalable Language Model with Generalized Continual Learning [58.700439919096155]
The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。
提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
論文 参考訳（メタデータ） (2024-04-11T04:22:15Z) - Fine-tuning Transformer-based Encoder for Turkish Language Understanding
Tasks [0.0]
トルコ語のためのTransformerベースのモデルとベースラインベンチマークを提供する。
我々は、トルコのBERTモデル、BERTurkを多くの下流タスクに微調整し、トルコのベンチマークデータセットで評価した。
論文 参考訳（メタデータ） (2024-01-30T19:27:04Z) - Improving Pre-trained Language Model Fine-tuning with Noise Stability
Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。
具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。
提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-12T04:42:49Z) - CLIN-X: pre-trained language models and a study on cross-task transfer
for concept extraction in the clinical domain [22.846469609263416]
事前学習したCLIN-X(Clinical XLM-R)言語モデルを導入し、CLIN-Xが他の事前学習したトランスフォーマーモデルよりも優れていることを示す。
本研究は,250のラベル付き文が利用可能である場合に,47F1ポイントまで改善された注釈付きデータがないにもかかわらず,安定したモデル性能を示す。
本研究は,非標準領域における概念抽出におけるCLIN-Xとしての特殊言語モデルの重要性を強調した。
論文 参考訳（メタデータ） (2021-12-16T10:07:39Z) - XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation [80.18830380517753]
我々は新しいタスク非依存蒸留フレームワーク XtremeDistilTransformers を開発した。
本研究は, 蒸留における複数のソースタスク, 拡張資源, モデルアーキテクチャの伝達可能性について検討する。
論文 参考訳（メタデータ） (2021-06-08T17:49:33Z) - Structured Prediction as Translation between Augmented Natural Languages [109.50236248762877]
本研究では,構造化予測言語の課題を解決するために,新しいフレームワークであるTANL(Translation between Augmented Natural Languages)を提案する。
タスク固有の差別を訓練することで問題に取り組む代わりに、拡張自然言語間の翻訳タスクとして位置づける。
提案手法は, タスク固有のモデルに適合するか, 性能に優れ, 特に, 共同エンティティと関係抽出に関する新たな最先端結果が得られる。
論文 参考訳（メタデータ） (2021-01-14T18:32:21Z) - Fine-tuning BERT for Low-Resource Natural Language Understanding via
Active Learning [30.5853328612593]
本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。
実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。
我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
論文 参考訳（メタデータ） (2020-12-04T08:34:39Z) - Domain-Specific Language Model Pretraining for Biomedical Natural
Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。
実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文 参考訳（メタデータ） (2020-07-31T00:04:15Z) - Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models
via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。
ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。
提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2020-04-29T14:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。