論文の概要: Evaluation of Language Models in the Medical Context Under Resource-Constrained Settings
- arxiv url: http://arxiv.org/abs/2406.16611v2
- Date: Wed, 23 Oct 2024 18:10:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-25 12:51:28.471221
- Title: Evaluation of Language Models in the Medical Context Under Resource-Constrained Settings
- Title（参考訳）: 資源制約条件下における医学的文脈における言語モデルの評価
- Authors: Andrea Posada, Daniel Rueckert, Felix Meissen, Philip Müller,
- Abstract要約: 医療分野における言語モデルに関する総合的な調査を行った。
医療用テキスト分類と条件付きテキスト生成のためのサブセットの評価を行った。
その結果、タスク全体での顕著なパフォーマンスが明らかとなり、特定のモデルが医療知識を含む可能性について評価された。
- 参考スコア（独自算出の注目度）: 10.39989311209284
- License:
- Abstract: Since the Transformer architecture emerged, language model development has grown, driven by their promising potential. Releasing these models into production requires properly understanding their behavior, particularly in sensitive domains like medicine. Despite this need, the medical literature still lacks practical assessment of pre-trained language models, which are especially valuable in settings where only consumer-grade computational resources are available. To address this gap, we have conducted a comprehensive survey of language models in the medical field and evaluated a subset of these for medical text classification and conditional text generation. The subset includes 53 models with 110 million to 13 billion parameters, spanning the Transformer-based model families and knowledge domains. Different approaches are employed for text classification, including zero-shot learning, enabling tuning without the need to train the model. These approaches are helpful in our target settings, where many users of language models find themselves. The results reveal remarkable performance across the tasks and datasets evaluated, underscoring the potential of certain models to contain medical knowledge, even without domain specialization. This study thus advocates for further exploration of model applications in medical contexts, particularly in computational resource-constrained settings, to benefit a wide range of users. The code is available on https://github.com/anpoc/Language-models-in-medicine.
- Abstract（参考訳）: Transformerアーキテクチャが登場して以来、言語モデルの開発はその将来性によって成長してきた。
これらのモデルを生産状態に戻すには、特に医学のような繊細な領域において、それらの振る舞いを適切に理解する必要がある。
このようなニーズにもかかわらず、医療文献は、特にコンシューマグレードの計算リソースしか利用できない環境では、事前訓練された言語モデルの実践的な評価を欠いている。
このギャップに対処するため,医学分野における言語モデルの包括的調査を行い,これらのサブセットを医学テキスト分類と条件付きテキスト生成のために評価した。
サブセットには、Transformerベースのモデルファミリーとナレッジドメインにまたがる、1億1000万から13億のパラメータを持つ53のモデルが含まれている。
ゼロショット学習など,さまざまなアプローチがテキスト分類に採用されている。
これらのアプローチは、言語モデルの多くのユーザが自分自身を見つけるターゲット設定で役立ちます。
その結果、評価されたタスクやデータセット全体において顕著なパフォーマンスを示し、ドメインの専門化がなくても、特定のモデルが医療知識を含む可能性を示す。
そこで本研究では,医学的文脈,特に計算資源制約設定におけるモデル応用のさらなる探求を提唱し,幅広い利用者に利益をもたらす。
コードはhttps://github.com/anpoc/Language-models-in-medicineで公開されている。
関連論文リスト
- Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。
特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。
また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
論文 参考訳（メタデータ） (2024-04-27T05:03:42Z) - Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。
より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。
これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文 参考訳（メタデータ） (2024-03-26T12:47:39Z) - Clinical information extraction for Low-resource languages with Few-shot learning using Pre-trained language models and Prompting [12.166472806042592]
臨床資料から医療情報を自動抽出することはいくつかの課題をもたらす。
ドメイン適応とプロンプト手法の最近の進歩は、最小限のトレーニングデータで有望な結果を示した。
軽量でドメイン適応型事前訓練モデルが20ショットでトリガーされ、従来の分類モデルを30.5%精度で上回っていることを実証する。
論文 参考訳（メタデータ） (2024-03-20T08:01:33Z) - MedEval: A Multi-Level, Multi-Task, and Multi-Domain Medical Benchmark
for Language Model Evaluation [22.986061896641083]
MedEvalは、医療のための言語モデルの開発を促進するために、マルチレベル、マルチタスク、マルチドメインの医療ベンチマークである。
22,779の文と21,228のレポートを収集し、専門家のアノテーションを複数のレベルで提供し、データの詳細な使用可能性を提供します。
論文 参考訳（メタデータ） (2023-10-21T18:59:41Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳（メタデータ） (2023-09-29T17:57:00Z) - An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。
近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。
これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
論文 参考訳（メタデータ） (2023-04-17T17:13:42Z) - Localising In-Domain Adaptation of Transformer-Based Biomedical Language
Models [0.987336898133886]
我々は、英語以外の言語で生物医学的言語モデルを導出するための2つのアプローチを提案する。
1つは、英語リソースのニューラルネットワーク翻訳に基づくもので、品質よりも量を好む。
もう一つは、イタリア語で書かれた高品位で細いスコープのコーパスに基づいており、量よりも質を優先している。
論文 参考訳（メタデータ） (2022-12-20T16:59:56Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳（メタデータ） (2020-10-20T17:31:07Z) - CBAG: Conditional Biomedical Abstract Generation [1.2633386045916442]
浅層エンコーダ"条件"スタックと,マルチヘッドアテンションブロックの深層"言語モデル"スタックを備えたトランスフォーマーベースの条件言語モデルを提案する。
提案したタイトル,意図した出版年,キーワードのセットのみをバイオメディカルな要約として生成する。
論文 参考訳（メタデータ） (2020-02-13T17:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。