論文の概要: Evaluation of Language Models in the Medical Context Under Resource-Constrained Settings

• arxiv url: http://arxiv.org/abs/2406.16611v1
• Date: Mon, 24 Jun 2024 12:52:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 14:44:42.824051
• Title: Evaluation of Language Models in the Medical Context Under Resource-Constrained Settings
• Title（参考訳）: 資源制約条件下における医学的文脈における言語モデルの評価
• Authors: Andrea Posada, Daniel Rueckert, Felix Meissen, Philip Müller,
• Abstract要約: 医療領域における言語モデルに関する包括的調査を行う。 私たちのサブセットは53モデルで、1億1000万から13億のパラメータに対応しています。 この結果から,様々なタスクやデータセットにまたがる顕著なパフォーマンスが明らかになった。
• 参考スコア（独自算出の注目度）: 10.39989311209284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since the emergence of the Transformer architecture, language model development has increased, driven by their promising potential. However, releasing these models into production requires properly understanding their behavior, particularly in sensitive domains such as medicine. Despite this need, the medical literature still lacks technical assessments of pre-trained language models, which are especially valuable in resource-constrained settings in terms of computational power or limited budget. To address this gap, we provide a comprehensive survey of language models in the medical domain. In addition, we selected a subset of these models for thorough evaluation, focusing on classification and text generation tasks. Our subset encompasses 53 models, ranging from 110 million to 13 billion parameters, spanning the three families of Transformer-based models and from diverse knowledge domains. This study employs a series of approaches for text classification together with zero-shot prompting instead of model training or fine-tuning, which closely resembles the limited resource setting in which many users of language models find themselves. Encouragingly, our findings reveal remarkable performance across various tasks and datasets, underscoring the latent potential of certain models to contain medical knowledge, even without domain specialization. Consequently, our study advocates for further exploration of model applications in medical contexts, particularly in resource-constrained settings. The code is available on https://github.com/anpoc/Language-models-in-medicine.
• Abstract（参考訳）: Transformerアーキテクチャの登場以来、言語モデルの開発は、その有望な可能性によって増加してきた。 しかし、これらのモデルを生産にリリースするには、特に医学のような敏感な領域において、それらの振る舞いを適切に理解する必要がある。 この必要性にもかかわらず、医学文献は未訓練の言語モデルに関する技術的評価を欠いている。 このギャップに対処するため、医療領域における言語モデルに関する包括的調査を行っている。 さらに,分類とテキスト生成タスクに着目し,これらのモデルのサブセットを徹底的な評価のために選択した。 うちのサブセットは53モデルで、1億1000万から13億のパラメータがあり、Transformerベースのモデルの3つのファミリーと多様な知識ドメインにまたがっている。 本研究は、モデルトレーニングや微調整の代わりにゼロショットプロンプトとともに、テキスト分類のための一連のアプローチを採用する。 この結果から,領域の専門化を必要とせずとも,特定のモデルが医療知識を含む潜在可能性を示すとともに,様々なタスクやデータセットにまたがる顕著なパフォーマンスが明らかとなった。 その結果,医学的文脈,特に資源制約のある環境におけるモデル応用のさらなる探求が提唱された。 コードはhttps://github.com/anpoc/Language-models-in-medicineで公開されている。

関連論文リスト

• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Clinical information extraction for Low-resource languages with Few-shot learning using Pre-trained language models and Prompting [12.166472806042592]
  臨床資料から医療情報を自動抽出することはいくつかの課題をもたらす。 ドメイン適応とプロンプト手法の最近の進歩は、最小限のトレーニングデータで有望な結果を示した。 軽量でドメイン適応型事前訓練モデルが20ショットでトリガーされ、従来の分類モデルを30.5%精度で上回っていることを実証する。
  論文  参考訳（メタデータ） (2024-03-20T08:01:33Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
  大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。 LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。 PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
  論文  参考訳（メタデータ） (2023-04-27T18:29:05Z)
• Localising In-Domain Adaptation of Transformer-Based Biomedical Language Models [0.987336898133886]
  我々は、英語以外の言語で生物医学的言語モデルを導出するための2つのアプローチを提案する。 1つは、英語リソースのニューラルネットワーク翻訳に基づくもので、品質よりも量を好む。 もう一つは、イタリア語で書かれた高品位で細いスコープのコーパスに基づいており、量よりも質を優先している。
  論文  参考訳（メタデータ） (2022-12-20T16:59:56Z)
• PathologyBERT -- Pre-trained Vs. A New Transformer Language Model for Pathology Domain [2.3628956573813498]
  大規模な病理データベースのテキストマイニングが成功すれば、「ビッグデータ」がん研究の進展に重要な役割を果たす可能性がある。 病理学の分野での急速なデータマイニング開発を支援するために、病理学固有の言語空間は存在しない。 PathologyBERTは,347,173例の病理組織学的報告に基づいて訓練された,訓練済みの仮面言語モデルである。
  論文  参考訳（メタデータ） (2022-05-13T20:42:07Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• CBAG: Conditional Biomedical Abstract Generation [1.2633386045916442]
  浅層エンコーダ"条件"スタックと,マルチヘッドアテンションブロックの深層"言語モデル"スタックを備えたトランスフォーマーベースの条件言語モデルを提案する。 提案したタイトル,意図した出版年,キーワードのセットのみをバイオメディカルな要約として生成する。
  論文  参考訳（メタデータ） (2020-02-13T17:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。