論文の概要: EyeGPT: Ophthalmic Assistant with Large Language Models
- arxiv url: http://arxiv.org/abs/2403.00840v1
- Date: Thu, 29 Feb 2024 09:35:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 16:26:07.977599
- Title: EyeGPT: Ophthalmic Assistant with Large Language Models
- Title(参考訳): eyegpt: 大きな言語モデルを持つ眼科用アシスタント
- Authors: Xiaolan Chen, Ziwei Zhao, Weiyi Zhang, Pusheng Xu, Le Gao, Mingpu Xu,
Yue Wu, Yinwen Li, Danli Shi, Mingguang He
- Abstract要約: 一般世界の知識で訓練された大規模言語モデル(LLM)は、専門家レベルで医療関連タスクに取り組む能力を持っていないかもしれない。
本稿では、ロールプレイング、ファインタニング、検索強化生成を含む3つの最適化戦略を用いて、眼科に特化して設計された特殊なLCMであるEyeGPTを紹介する。
異なるEyeGPT変異体の性能を評価することにより、人間の眼科医に対する理解可能性、信頼性、共感のレベルに匹敵する、最も効果的なものを特定する。
- 参考スコア(独自算出の注目度): 6.678252895718266
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Artificial intelligence (AI) has gained significant attention in healthcare
consultation due to its potential to improve clinical workflow and enhance
medical communication. However, owing to the complex nature of medical
information, large language models (LLM) trained with general world knowledge
might not possess the capability to tackle medical-related tasks at an expert
level. Here, we introduce EyeGPT, a specialized LLM designed specifically for
ophthalmology, using three optimization strategies including role-playing,
finetuning, and retrieval-augmented generation. In particular, we proposed a
comprehensive evaluation framework that encompasses a diverse dataset, covering
various subspecialties of ophthalmology, different users, and diverse inquiry
intents. Moreover, we considered multiple evaluation metrics, including
accuracy, understandability, trustworthiness, empathy, and the proportion of
hallucinations. By assessing the performance of different EyeGPT variants, we
identify the most effective one, which exhibits comparable levels of
understandability, trustworthiness, and empathy to human ophthalmologists (all
Ps>0.05). Overall, ur study provides valuable insights for future research,
facilitating comprehensive comparisons and evaluations of different strategies
for developing specialized LLMs in ophthalmology. The potential benefits
include enhancing the patient experience in eye care and optimizing
ophthalmologists' services.
- Abstract(参考訳): 人工知能(ai)は、臨床ワークフローの改善と医療コミュニケーションの強化の可能性から、医療相談において大きな注目を集めている。
しかし、医療情報の複雑な性質から、一般世界の知識で訓練された大規模言語モデル(LLM)には、専門家レベルで医療関連課題に取り組む能力がない可能性がある。
本稿では,眼科専門の眼科用llmであるeyegptについて,ロールプレイング,微調整,検索適応生成の3つの最適化戦略を用いて紹介する。
特に,眼科の様々な亜種,異なるユーザ,多様な探究意図を網羅した,多様なデータセットを含む包括的評価フレームワークを提案する。
さらに, 正確性, 理解性, 信頼性, 共感, 幻覚の比率など, 複数の評価指標を検討した。
異なるeyegpt変異体の性能を評価することで、ヒトの眼科医(全ps>0.05)に対する理解性、信頼性、共感のレベルに匹敵する、最も効果的なものを特定する。
総じて、我々の研究は将来の研究に貴重な洞察を与え、眼科における特殊なLSMを開発するための様々な戦略の総合的な比較と評価を促進する。
潜在的な利点は、アイケアにおける患者体験の向上と眼科医のサービスを最適化することである。
関連論文リスト
- When Eye-Tracking Meets Machine Learning: A Systematic Review on
Applications in Medical Image Analysis [2.9122893700072554]
目の動きを監視し記録する技術であるアイトラッキングは、人間の視覚的注意パターンに関する貴重な洞察を提供する。
複雑な人間の視覚的注意パターンが埋め込まれた視線追跡データは、人工知能(AI)開発と人間の認知を統合するための橋渡しを提供する。
本稿では,医療画像解析のためのML/DLアルゴリズムの深度化のための視線追跡と手法について検討する。
論文 参考訳(メタデータ) (2024-03-12T17:17:20Z) - MLIP: Enhancing Medical Visual Representation with Divergence Encoder
and Knowledge-guided Contrastive Learning [48.97640824497327]
本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。
我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。
特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
論文 参考訳(メタデータ) (2024-02-03T05:48:50Z) - Evaluation of General Large Language Models in Contextually Assessing
Semantic Concepts Extracted from Adult Critical Care Electronic Health Record
Notes [17.648021186810663]
本研究の目的は,大規模言語モデル(LLM)の実際の臨床ノートの理解と処理における性能を評価することである。
GPTファミリーモデルは、コスト効率と時間節約能力によって証明された、かなりの効率性を示している。
論文 参考訳(メタデータ) (2024-01-24T16:52:37Z) - Holistic Evaluation of GPT-4V for Biomedical Imaging [113.46226609088194]
GPT-4Vはコンピュータビジョンのための人工知能の突破口である。
GPT-4Vは,放射線学,腫瘍学,眼科,病理学など16分野にまたがって評価を行った。
以上の結果より,GPT-4Vは異常や解剖学的認識に優れていたが,診断や局所化は困難であった。
論文 参考訳(メタデータ) (2023-11-10T18:40:44Z) - A Systematic Evaluation of GPT-4V's Multimodal Capability for Medical
Image Analysis [87.25494411021066]
医用画像解析のためのGPT-4Vのマルチモーダル機能の評価を行った。
GPT-4Vは医用画像の理解に優れ、高品質な放射線診断レポートを生成する。
医用視覚接地の性能は大幅に改善する必要があることが判明した。
論文 参考訳(メタデータ) (2023-10-31T11:39:09Z) - VisionFM: a Multi-Modal Multi-Task Vision Foundation Model for
Generalist Ophthalmic Artificial Intelligence [27.92420837559191]
VisionFMは560,457人の眼科画像340万枚を事前訓練した基礎モデルである。
事前トレーニングの後、VisionFMは複数の眼科人工知能(AI)応用を育成する基盤を提供する。
VisionFMの一般知能は、12の一般的な眼科疾患を共同診断する際に、基礎的および中間的なレベルの眼科医より優れていた。
論文 参考訳(メタデータ) (2023-10-08T03:40:14Z) - Validating polyp and instrument segmentation methods in colonoscopy through Medico 2020 and MedAI 2021 Challenges [58.32937972322058]
メディコオートマチックポリープセグメンテーション(Medico 2020)と「メディコ:医療画像の透明性(MedAI 2021)」コンペティション。
本報告では, それぞれのコントリビューションを包括的に分析し, ベストパフォーマンスメソッドの強さを強調し, クリニックへの臨床翻訳の可能性について考察する。
論文 参考訳(メタデータ) (2023-07-30T16:08:45Z) - Align, Reason and Learn: Enhancing Medical Vision-and-Language
Pre-training with Knowledge [68.90835997085557]
本稿では,3つの視点から構造化された医療知識を高めるための体系的かつ効果的なアプローチを提案する。
まず、視覚エンコーダと言語エンコーダの表現を知識を通して整列する。
次に,多モード融合モデルに知識を注入し,入力画像とテキストの補足として知識を用いた推論を可能にする。
第3に、知識によって引き起こされるプレテキストタスクを設計することで、画像やテキストの最も重要な情報に重点を置くよう、モデルを指導する。
論文 参考訳(メタデータ) (2022-09-15T08:00:01Z) - Efficient Screening of Diseased Eyes based on Fundus Autofluorescence
Images using Support Vector Machine [0.12189422792863448]
さまざまな視力障害は、目の焦点領域の地理的縮縮(GA)と関連している。
現在の臨床では、眼科医は、眼底蛍光(FAF)画像に基づいて、このようなGAの存在を手動で検出する。
健康眼と病眼をアルゴリズムで識別し,眼科医のみからの入力を限定したスクリーニングステップを提案する。
論文 参考訳(メタデータ) (2021-04-17T11:54:34Z) - An Interpretable Multiple-Instance Approach for the Detection of
referable Diabetic Retinopathy from Fundus Images [72.94446225783697]
基礎画像における参照糖尿病網膜症検出のための機械学習システムを提案する。
画像パッチから局所情報を抽出し,アテンション機構により効率的に組み合わせることで,高い分類精度を実現することができる。
我々は,現在入手可能な網膜画像データセットに対するアプローチを評価し,最先端の性能を示す。
論文 参考訳(メタデータ) (2021-03-02T13:14:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。