論文の概要: Language Enhanced Model for Eye (LEME): An Open-Source Ophthalmology-Specific Large Language Model

• arxiv url: http://arxiv.org/abs/2410.03740v1
• Date: Tue, 1 Oct 2024 02:43:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 20:18:28.497858
• Title: Language Enhanced Model for Eye (LEME): An Open-Source Ophthalmology-Specific Large Language Model
• Title（参考訳）: LEME(Language Enhanced Model for Eye) : オープンソース眼科専門大言語モデル
• Authors: Aidan Gilson, Xuguang Ai, Qianqian Xie, Sahana Srinivasan, Krithi Pushpanathan, Maxwell B. Singer, Jimin Huang, Hyunjae Kim, Erping Long, Peixing Wan, Luciano V. Del Priore, Lucila Ohno-Machado, Hua Xu, Dianbo Liu, Ron A. Adelman, Yih-Chung Tham, Qingyu Chen,
• Abstract要約: 我々は、Language Enhanced Model for Eye (LEME)と呼ばれる、眼科専門のオープンソースLSMを導入する。 LEMEは当初、Llama2 70Bフレームワークで事前訓練され、さらに127,000個の非コピーライトの訓練インスタンスで微調整された。 GPT-3.5, GPT-4, 3台のLlama2モデル(7B, 13B, 70B), PMC-LLAMA 13B, Meditron 70B, EYE-Llamaに対してLEMEをベンチマークした。
• 参考スコア（独自算出の注目度）: 25.384237687766024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are poised to revolutionize healthcare. Ophthalmology-specific LLMs remain scarce and underexplored. We introduced an open-source, specialized LLM for ophthalmology, termed Language Enhanced Model for Eye (LEME). LEME was initially pre-trained on the Llama2 70B framework and further fine-tuned with a corpus of ~127,000 non-copyrighted training instances curated from ophthalmology-specific case reports, abstracts, and open-source study materials. We benchmarked LEME against eight other LLMs, namely, GPT-3.5, GPT-4, three Llama2 models (7B, 13B, 70B), PMC-LLAMA 13B, Meditron 70B, and EYE-Llama (another ophthalmology-specific LLM). Evaluations included four internal validation tasks: abstract completion, fill-in-the-blank, multiple-choice questions (MCQ), and short-answer QA. External validation tasks encompassed long-form QA, MCQ, patient EHR summarization, and clinical QA. Evaluation metrics included Rouge-L scores, accuracy, and expert evaluation of correctness, completeness, and readability. In internal validations, LEME consistently outperformed its counterparts, achieving Rouge-L scores of 0.20 in abstract completion (all p<0.05), 0.82 in fill-in-the-blank (all p<0.0001), and 0.22 in short-answer QA (all p<0.0001, except versus GPT-4). In external validations, LEME excelled in long-form QA with a Rouge-L of 0.19 (all p<0.0001), ranked second in MCQ accuracy (0.68; all p<0.0001), and scored highest in EHR summarization and clinical QA (ranging from 4.24 to 4.83 out of 5 for correctness, completeness, and readability). LEME's emphasis on robust fine-tuning and the use of non-copyrighted data represents a breakthrough in open-source ophthalmology-specific LLMs, offering the potential to revolutionize execution of clinical tasks while democratizing research collaboration.
• Abstract（参考訳）: 大規模言語モデル(LLM)は医療に革命をもたらす可能性がある。 眼科専門のLSMは乏しく、未発見である。 我々は,眼科専門のLLM(Language Enhanced Model for Eye, LEME)をオープンソースで導入した。 LEMEは当初、Llama2 70Bフレームワーク上で事前訓練を受け、さらに、眼科固有の事例報告、要約、オープンソース研究資料から算出された、約127,000の非コピーライトトレーニングインスタンスのコーパスで微調整された。 GPT-3.5, GPT-4, 3台のLlama2(7B, 13B, 70B), PMC-LLAMA 13B, Meditron 70B, EYE-Llama(他の眼科用LLM)とLEMEを比較検討した。 評価には4つの内部検証タスクが含まれていた。 長期QA, MCQ, 患者EHR要約, 臨床QAを含む外部バリデーションタスクについて検討した。 評価基準には、ルージュ-Lスコア、正確性、専門家による正確性、完全性、可読性の評価が含まれていた。 内部検証では、LEMEは、抽象的な完了(全てのp<0.05)でルージュ-Lスコアが0.20(全p<0.0001)で、ブランク内充填(全p<0.0001)で0.82(全p<0.0001)、短解QA(全p<0.0001、GPT-4を除く)で0.22(全p<0.0001)である。 外的検証では、LEMEは0.19ルージュL(全p<0.0001)の長期QAに優れ、MCQの精度(0.68;全p<0.0001)では2位、EHRの要約と臨床QA(正確性、完全性、可読性5点中4.24～4.83点)では最高となった。 LEMEは、堅牢な微調整と非コピーライトデータの使用に重点を置いており、研究協力を民主化しながら臨床タスクの実行に革命をもたらす可能性を秘めている。

関連論文リスト

• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• Toward Automatic Relevance Judgment using Vision--Language Models for Image--Text Retrieval Evaluation [56.49084589053732]
  VLM(Vision-Language Models)は、様々なアプリケーションで成功を収めてきたが、関連性判断を支援する可能性はまだ不明である。 本稿では,CLIP,LLaVA,GPT-4Vを含むVLMの関連性評価機能について,ゼロショット方式でマルチメディアコンテンツ作成に適した大規模テキスト分割ホック検索タスクで評価する。
  論文  参考訳（メタデータ） (2024-08-02T16:15:25Z)
• Evaluating Large Language Models for Public Health Classification and Extraction Tasks [0.3593941384437792]
  本稿では,自由テキストの分類と抽出を含む公衆衛生業務におけるLarge Language Models(LLMs)の評価について述べる。 当初、ゼロショットインコンテキスト学習を用いて、全タスクにまたがる5つのオープンウェイトLCMを評価した。 LLMが公衆衛生の専門家にとって、様々な無料テキストソースから情報を抽出するのに有用なツールであることを示す有望な兆候を見出した。
  論文  参考訳（メタデータ） (2024-05-23T16:33:18Z)
• Adapting Open-Source Large Language Models for Cost-Effective, Expert-Level Clinical Note Generation with On-Policy Reinforcement Learning [19.08691249610632]
  本研究では,オープンソースのLLaMA-213億パラメータモデルに対する包括的ドメイン・タスク特化プロセスを提案する。 教師モデルとしてGemini 1.0 Proを用いて、政治強化学習を行うための新しいアプローチであるDistillDirectを導入する。 我々のモデルであるLLaMA-Clinicは、医師が作成したものと同等の品質の臨床メモを生成することができる。
  論文  参考訳（メタデータ） (2024-04-25T15:34:53Z)
• A Dataset and Benchmark for Hospital Course Summarization with Adapted Large Language Models [4.091402760759184]
  大規模言語モデル(LLM)は、現実世界のタスクを自動化する際、顕著な能力を示しているが、医療応用の能力は示されていない。 臨床ノートと短い病院コースをカプセル化したMIMIC-IV-BHC(MIMIC-IV-BHC)を導入した。 臨床ノートを入力として,3つのオープンソースLSMと2つの独自LSMに対して,プロンプトベース(文脈内学習)と微調整ベースの適応戦略を適用した。
  論文  参考訳（メタデータ） (2024-03-08T23:17:55Z)
• EHRNoteQA: An LLM Benchmark for Real-World Clinical Practice Using Discharge Summaries [9.031182965159976]
  大規模言語モデル(LLM)は、大規模で複雑なデータを効率的に分析する可能性を示している。 我々は,MIMIC-IV EHR上に構築された新しいベンチマークであるEHRNoteQAを紹介した。 EHRNoteQAには、複数の放電サマリーにまたがる情報を必要とし、実際の臨床検査の複雑さと多様性を反映した8つの多様なトピックをカバーする質問が含まれている。
  論文  参考訳（メタデータ） (2024-02-25T09:41:50Z)
• Distilling Large Language Models for Matching Patients to Clinical Trials [3.4068841624198942]
  近年の大規模言語モデル(LLMs)の成功は、医療分野における彼らの採用の道を開いた。 本研究は,患者と臨床の整合性に対するプロプライエタリ (GPT-3.5, GPT-4) とオープンソース LLM (LLAMA 7B, 13B, 70B) の併用性について,最初の系統的検討を行った。 この制限された合成データセットを微調整したオープンソースのLLMは、プロプライエタリなデータセットと同等の性能を示した。
  論文  参考訳（メタデータ） (2023-12-15T17:11:07Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Large Language Models Leverage External Knowledge to Extend Clinical Insight Beyond Language Boundaries [48.48630043740588]
  ChatGPTやMed-PaLMのような大規模言語モデル(LLM)は、様々な質問応答タスクに優れています。 我々は,その性能を高めるために,新しい文脈内学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2023-05-17T12:31:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。