論文の概要: Domain-Specific Pretraining of Language Models: A Comparative Study in the Medical Field

• arxiv url: http://arxiv.org/abs/2407.14076v2
• Date: Sun, 28 Jul 2024 07:46:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 20:31:59.773807
• Title: Domain-Specific Pretraining of Language Models: A Comparative Study in the Medical Field
• Title（参考訳）: 言語モデルのドメイン特化事前学習:医学領域における比較研究
• Authors: Tobias Kerner,
• Abstract要約: 本稿では、ドメイン固有および混合ドメイン事前学習を、特定の言語モデルに対する一般的な事前学習よりも効率的な方法として論じる。 専門的な言語モデルのベンチマーク結果を汎用言語モデルと比較し、特に医療領域におけるドメイン固有の事前訓練に関する作業について考察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There are many cases where LLMs are used for specific tasks in a single domain. These usually require less general, but more domain-specific knowledge. Highly capable, general-purpose state-of-the-art language models like GPT-4 or Claude-3-opus can often be used for such tasks, but they are very large and cannot be run locally, even if they were not proprietary. This can be a problem when working with sensitive data. This paper focuses on domain-specific and mixed-domain pretraining as potentially more efficient methods than general pretraining for specialized language models. We will take a look at work related to domain-specific pretraining, specifically in the medical area, and compare benchmark results of specialized language models to general-purpose language models.
• Abstract（参考訳）: LLMが単一のドメインで特定のタスクに使用されるケースは多い。 これらは通常、より一般的ではなく、よりドメイン固有の知識を必要とする。 高機能で汎用的なGPT-4やClaude-3-opusのような言語モデルは、そのようなタスクによく使用されるが、非常に大きく、プロプライエタリでない場合でもローカルでは実行できない。 センシティブなデータを扱う場合、これは問題になる可能性がある。 本稿では、ドメイン固有および混合ドメイン事前学習を、特定の言語モデルに対する一般的な事前学習よりも効率的な方法として論じる。 専門的な言語モデルのベンチマーク結果を汎用言語モデルと比較し、特に医療領域におけるドメイン固有の事前訓練に関する作業について考察する。

関連論文リスト

• Learning to Generalize Unseen Domains via Multi-Source Meta Learning for Text Classification [71.08024880298613]
  テキスト分類の多元的領域一般化について検討する。 本稿では、複数の参照ドメインを使用して、未知のドメインで高い精度を達成可能なモデルをトレーニングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T07:46:21Z)
• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models [56.89958793648104]
  大規模言語モデル(LLM)は多用途であり、多様なタスクに対処することができる。 従来のアプローチでは、ドメイン固有のデータによる継続的な事前トレーニングを行うか、一般的なLLMをサポートするために検索拡張を採用する。 BLADEと呼ばれる新しいフレームワークを提案する。このフレームワークは、小さなDomain-spEcificモデルでブラックボックスのLArge言語モデルを拡張する。
  論文  参考訳（メタデータ） (2024-03-27T08:57:21Z)
• Tag-LLM: Repurposing General-Purpose LLMs for Specialized Domains [9.600277231719874]
  大規模言語モデル(LLM)は、自然言語の理解と生成に顕著な能力を示した。 本研究は、汎用LLMを特殊領域の効率的なタスク解決器に再利用する方法を探求する。
  論文  参考訳（メタデータ） (2024-02-06T20:11:54Z)
• Enhancing Medical Specialty Assignment to Patients using NLP Techniques [0.0]
  本稿では,計算効率を向上しつつ,優れた性能を実現する方法を提案する。 具体的には、キーワードを用いて、大規模なテキストコーパスで事前訓練された言語モデルより優れたディープラーニングアーキテクチャを訓練する。 その結果,テキスト分類におけるキーワードの利用により,分類性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2023-12-09T14:13:45Z)
• Regex-augmented Domain Transfer Topic Classification based on a Pre-trained Language Model: An application in Financial Domain [42.5087655999509]
  本稿では,微調整過程におけるドメイン知識の特徴として,正規表現パターンの利用について論じる。 実シナリオ生成データを用いた実験により,本手法が下流のテキスト分類タスクを改善することを示す。
  論文  参考訳（メタデータ） (2023-05-23T03:26:32Z)
• Single-domain Generalization in Medical Image Segmentation via Test-time Adaptation from Shape Dictionary [64.5632303184502]
  ドメインの一般化は通常、モデル学習のために複数のソースドメインからのデータを必要とする。 本稿では,1つのソースドメインのみで最悪のシナリオ下でモデルを学習し,異なる未確認対象ドメインに直接一般化する,重要な単一ドメインの一般化問題について考察する。 本稿では,領域間で不変なセグメンテーションのセグメンテーション先情報を抽出し,統合する医用画像セグメンテーションにおいて,この問題に対処する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-06-29T08:46:27Z)
• MDAPT: Multilingual Domain Adaptive Pretraining in a Single Model [17.566140528671134]
  一つの多言語ドメイン固有モデルが一般的な多言語モデルより優れていることを示す。 本稿では,言語モデルがドメイン固有かつ多言語的になるような事前学習コーパスを構成するための様々な手法を提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:50:26Z)
• Adapt-and-Distill: Developing Small, Fast and Effective Pretrained Language Models for Domains [45.07506437436464]
  本稿では、特定のドメインに対して、小型で高速かつ効果的に事前訓練されたモデルを開発するための一般的なアプローチを提案する。 これは、既成の一般訓練モデルに適応し、ターゲットドメインでタスク非依存の知識蒸留を行うことによって達成される。
  論文  参考訳（メタデータ） (2021-06-25T07:37:05Z)
• Batch Normalization Embeddings for Deep Domain Generalization [50.51405390150066]
  ドメインの一般化は、異なるドメインと見えないドメインで堅牢に実行されるように機械学習モデルをトレーニングすることを目的としている。 一般的な領域一般化ベンチマークにおいて,最先端技術よりも分類精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2020-11-25T12:02:57Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。