論文の概要: Evaluation of Language Models in the Medical Context Under Resource-Constrained Settings
- arxiv url: http://arxiv.org/abs/2406.16611v1
- Date: Mon, 24 Jun 2024 12:52:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 14:44:42.824051
- Title: Evaluation of Language Models in the Medical Context Under Resource-Constrained Settings
- Title（参考訳）: 資源制約条件下における医学的文脈における言語モデルの評価
- Authors: Andrea Posada, Daniel Rueckert, Felix Meissen, Philip Müller,
- Abstract要約: 医療領域における言語モデルに関する包括的調査を行う。
私たちのサブセットは53モデルで、1億1000万から13億のパラメータに対応しています。
この結果から,様々なタスクやデータセットにまたがる顕著なパフォーマンスが明らかになった。
- 参考スコア（独自算出の注目度）: 10.39989311209284
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Since the emergence of the Transformer architecture, language model development has increased, driven by their promising potential. However, releasing these models into production requires properly understanding their behavior, particularly in sensitive domains such as medicine. Despite this need, the medical literature still lacks technical assessments of pre-trained language models, which are especially valuable in resource-constrained settings in terms of computational power or limited budget. To address this gap, we provide a comprehensive survey of language models in the medical domain. In addition, we selected a subset of these models for thorough evaluation, focusing on classification and text generation tasks. Our subset encompasses 53 models, ranging from 110 million to 13 billion parameters, spanning the three families of Transformer-based models and from diverse knowledge domains. This study employs a series of approaches for text classification together with zero-shot prompting instead of model training or fine-tuning, which closely resembles the limited resource setting in which many users of language models find themselves. Encouragingly, our findings reveal remarkable performance across various tasks and datasets, underscoring the latent potential of certain models to contain medical knowledge, even without domain specialization. Consequently, our study advocates for further exploration of model applications in medical contexts, particularly in resource-constrained settings. The code is available on https://github.com/anpoc/Language-models-in-medicine.
- Abstract（参考訳）: Transformerアーキテクチャの登場以来、言語モデルの開発は、その有望な可能性によって増加してきた。
しかし、これらのモデルを生産にリリースするには、特に医学のような敏感な領域において、それらの振る舞いを適切に理解する必要がある。
この必要性にもかかわらず、医学文献は未訓練の言語モデルに関する技術的評価を欠いている。
このギャップに対処するため、医療領域における言語モデルに関する包括的調査を行っている。
さらに,分類とテキスト生成タスクに着目し,これらのモデルのサブセットを徹底的な評価のために選択した。
うちのサブセットは53モデルで、1億1000万から13億のパラメータがあり、Transformerベースのモデルの3つのファミリーと多様な知識ドメインにまたがっている。
本研究は、モデルトレーニングや微調整の代わりにゼロショットプロンプトとともに、テキスト分類のための一連のアプローチを採用する。
この結果から,領域の専門化を必要とせずとも,特定のモデルが医療知識を含む潜在可能性を示すとともに,様々なタスクやデータセットにまたがる顕著なパフォーマンスが明らかとなった。
その結果,医学的文脈,特に資源制約のある環境におけるモデル応用のさらなる探求が提唱された。
コードはhttps://github.com/anpoc/Language-models-in-medicineで公開されている。
関連論文リスト
- Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。
特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。
また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
論文 参考訳（メタデータ） (2024-04-27T05:03:42Z) - Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。
より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。
これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文 参考訳（メタデータ） (2024-03-26T12:47:39Z) - Clinical information extraction for Low-resource languages with Few-shot learning using Pre-trained language models and Prompting [12.166472806042592]
臨床資料から医療情報を自動抽出することはいくつかの課題をもたらす。
ドメイン適応とプロンプト手法の最近の進歩は、最小限のトレーニングデータで有望な結果を示した。
軽量でドメイン適応型事前訓練モデルが20ショットでトリガーされ、従来の分類モデルを30.5%精度で上回っていることを実証する。
論文 参考訳（メタデータ） (2024-03-20T08:01:33Z) - MedEval: A Multi-Level, Multi-Task, and Multi-Domain Medical Benchmark
for Language Model Evaluation [22.986061896641083]
MedEvalは、医療のための言語モデルの開発を促進するために、マルチレベル、マルチタスク、マルチドメインの医療ベンチマークである。
22,779の文と21,228のレポートを収集し、専門家のアノテーションを複数のレベルで提供し、データの詳細な使用可能性を提供します。
論文 参考訳（メタデータ） (2023-10-21T18:59:41Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳（メタデータ） (2023-09-29T17:57:00Z) - An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。
近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。
これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
論文 参考訳（メタデータ） (2023-04-17T17:13:42Z) - Localising In-Domain Adaptation of Transformer-Based Biomedical Language
Models [0.987336898133886]
我々は、英語以外の言語で生物医学的言語モデルを導出するための2つのアプローチを提案する。
1つは、英語リソースのニューラルネットワーク翻訳に基づくもので、品質よりも量を好む。
もう一つは、イタリア語で書かれた高品位で細いスコープのコーパスに基づいており、量よりも質を優先している。
論文 参考訳（メタデータ） (2022-12-20T16:59:56Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳（メタデータ） (2020-10-20T17:31:07Z) - CBAG: Conditional Biomedical Abstract Generation [1.2633386045916442]
浅層エンコーダ"条件"スタックと,マルチヘッドアテンションブロックの深層"言語モデル"スタックを備えたトランスフォーマーベースの条件言語モデルを提案する。
提案したタイトル,意図した出版年,キーワードのセットのみをバイオメディカルな要約として生成する。
論文 参考訳（メタデータ） (2020-02-13T17:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。