論文の概要: Quantifying Self-diagnostic Atomic Knowledge in Chinese Medical Foundation Model: A Computational Analysis
- arxiv url: http://arxiv.org/abs/2310.11722v3
- Date: Tue, 2 Apr 2024 02:48:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 12:52:33.873580
- Title: Quantifying Self-diagnostic Atomic Knowledge in Chinese Medical Foundation Model: A Computational Analysis
- Title（参考訳）: 中国医学ファウンデーションモデルにおける自己診断的原子知識の定量化:計算解析
- Authors: Yaxin Fan, Feng Jiang, Benyou Wang, Peifeng Li, Haizhou Li,
- Abstract要約: ファンデーションモデル(FM)は、直接的で効率的な提案を提供することで、ユーザーが検索エンジンを通して自己診断する方法に革命をもたらす可能性がある。
近年の研究では、GPT-4で評価されたFMの品質や、医学試験に合格する能力に焦点が当てられている。
FMの記憶に蓄えられた自己診断的原子知識の程度を定量化する研究はない。
- 参考スコア（独自算出の注目度）: 55.742339781494046
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation Models (FMs) have the potential to revolutionize the way users self-diagnose through search engines by offering direct and efficient suggestions. Recent studies primarily focused on the quality of FMs evaluated by GPT-4 or their ability to pass medical exams, no studies have quantified the extent of self-diagnostic atomic knowledge stored in FMs' memory, which is the basis of foundation models to provide factual and reliable suggestions. In this paper, we first constructed a benchmark of Self-diagnostic Atomic Knowledge (SdAK), including the most common types of atomic knowledge involved in self-diagnostic queries, with 17 atomic types and a total of 14, 048 pieces of atomic knowledge. Then, we evaluated both generic and open-source Chinese medical FMs on the benchmark. The experimental results showcase that generic FMs perform better than medical FMs in terms of self-diagnostic atomic knowledge. Error analysis revealed that both generic and medical FMs are sycophantic, e.g., always catering to users' claims when it comes to unknown knowledge. We further explored different types of data commonly adopted for fine-tuning medical FMs, i.e., real-world, semi-distilled, and distilled data, and found that distilled data can benefit FMs most. The code and data are available at https://github.com/FreedomIntelligence/SDAK.
- Abstract（参考訳）: ファンデーションモデル(FM)は、直接的で効率的な提案を提供することで、ユーザーが検索エンジンを通して自己診断する方法に革命をもたらす可能性がある。
近年の研究では, GPT-4で評価されたFMの品質や, 医学試験に合格する能力に焦点が当てられ, FMの記憶に蓄積される自己診断的原子知識の程度を定量化する研究は行われていない。
本稿では,17種類の原子型と14,048個の原子知識を含む,自己診断的原子知識(SdAK)のベンチマークを構築した。
そして,そのベンチマークを用いて,汎用的およびオープンソースな漢方医療FMの評価を行った。
実験の結果,一般FMは自己診断的原子知識の観点から医療用FMよりも優れた性能を示した。
エラー解析により、一般的なFMと医療用FMはどちらもサイコファンであり、例えば、未知の知識に関しては常にユーザーの主張に注意を払っていることがわかった。
さらに, 微調整医療用FM, すなわち実世界, 半蒸留, 蒸留データに共通するさまざまな種類のデータについて検討し, 蒸留データが最もFMに有効であることを示した。
コードとデータはhttps://github.com/FreedomIntelligence/SDAKで公開されている。
関連論文リスト
- FEDMEKI: A Benchmark for Scaling Medical Foundation Models via Federated Knowledge Injection [83.54960238236548]
FEDMEKIはデータのプライバシーを守るだけでなく、医療基盤モデルの能力を高める。
FEDMEKIは、医療ファンデーションモデルに対して、直接データを公開することなく、幅広い医療知識から学ぶことを可能にする。
論文 参考訳（メタデータ） (2024-08-17T15:18:56Z) - FairMedFM: Fairness Benchmarking for Medical Imaging Foundation Models [37.803490266325]
医療画像における基礎モデル(FM)研究のためのフェアネスベンチマークであるFairMedFMを紹介する。
FairMedFMは17の一般的な医療画像データセットと統合されており、様々なモダリティ、次元、機密属性を含んでいる。
ゼロショット学習、線形探索、パラメータ効率のよい微調整、様々な下流タスク、分類とセグメンテーションなど、広く使われている20のFMを探索する。
論文 参考訳（メタデータ） (2024-07-01T05:47:58Z) - Progress and Opportunities of Foundation Models in Bioinformatics [77.74411726471439]
基礎モデル(FM)は、特に深層学習の領域において、計算生物学の新しい時代に定着した。
我々の焦点は、特定の生物学的問題にFMを応用することであり、研究ニーズに適切なFMを選択するために研究コミュニティを指導することを目的としています。
データノイズ、モデル説明可能性、潜在的なバイアスなど、生物学においてFMが直面する課題と限界を分析します。
論文 参考訳（メタデータ） (2024-02-06T02:29:17Z) - MKA: A Scalable Medical Knowledge Assisted Mechanism for Generative
Models on Medical Conversation Tasks [3.9571320117430866]
このメカニズムは、一般的な神経生成モデルを支援し、医療会話タスクにおけるより良いパフォーマンスを達成することを目的としている。
医療固有の知識グラフは、6種類の医療関連情報を含むメカニズム内に設計されている。
評価結果は,本機構と組み合わせたモデルが,複数の自動評価指標において元の手法より優れていることを示す。
論文 参考訳（メタデータ） (2023-12-05T04:55:54Z) - Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case
Study in Medicine [89.46836590149883]
本研究は, GPT-4の医学的課題評価における能力について, 専門訓練の欠如による先行研究に基づくものである。
イノベーションを促進することで、より深い専門能力が解放され、GPT-4が医学ベンチマークの先行結果に容易に勝っていることが分かる。
Medpromptを使用すると、GPT-4はMultiMedQAスイートのベンチマークデータセットの9つすべてに対して最先端の結果を得る。
論文 参考訳（メタデータ） (2023-11-28T03:16:12Z) - ChatRadio-Valuer: A Chat Large Language Model for Generalizable
Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。
本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。
ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
論文 参考訳（メタデータ） (2023-10-08T17:23:17Z) - Dynamic Multi-Domain Knowledge Networks for Chest X-ray Report
Generation [0.5939858158928474]
放射線診断レポート生成のための動的マルチドメイン知識(DMDK)ネットワークを提案する。
DMDKネットワークは、Chest Feature Extractor(CFE), Dynamic Knowledge Extractor(DKE), Specific Knowledge Extractor(SKE), Multi-knowledge Integrator(MKI)モジュールの4つのモジュールで構成されている。
IU X-RayとMIMIC-CXRの2つの広く使われているデータセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2023-10-08T11:20:02Z) - PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。
LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。
PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
論文 参考訳（メタデータ） (2023-04-27T18:29:05Z) - ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language Model
Meta-AI (LLaMA) Using Medical Domain Knowledge [8.584905227066034]
本研究の目的は,医療アドバイスの精度を向上した専門言語モデルを作ることであった。
そこで我々は,10万件の患者-医師対話の大規模データセットを用いて,大規模言語モデルメタAI(LLaMA)の適応と精錬を行った。
実際の患者と医師の相互作用によるモデルの微調整により、患者のニーズを理解し、アドバイスを提供する能力は大幅に向上した。
論文 参考訳（メタデータ） (2023-03-24T15:29:16Z) - Knowledge-Empowered Representation Learning for Chinese Medical Reading
Comprehension: Task, Model and Resources [36.960318276653986]
医療領域を対象としたマルチターゲットMRCタスクを導入し,医療質問に対する回答とそれに対応する文章を同時に予測することを目的とする。
本稿では, 医学知識を事前学習言語モデルに融合させる, タスクのための中国の医療用BERTモデル(CMedBERT)を提案する。
実験の結果,CMedBERTはコンテキスト認識と知識認識のトークン表現を融合することにより,強いベースラインを一貫して上回ることがわかった。
論文 参考訳（メタデータ） (2020-08-24T11:23:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。