論文の概要: Evaluating ChatGPT text-mining of clinical records for obesity
monitoring
- arxiv url: http://arxiv.org/abs/2308.01666v1
- Date: Thu, 3 Aug 2023 10:11:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-04 14:28:08.587634
- Title: Evaluating ChatGPT text-mining of clinical records for obesity
monitoring
- Title（参考訳）: 肥満モニタリングのための臨床記録のChatGPTテキストマイニングの評価
- Authors: Ivo S. Fins (1), Heather Davies (1), Sean Farrell (2), Jose R.Torres
(3), Gina Pinchbeck (1), Alan D. Radford (1), Peter-John Noble (1) ((1) Small
Animal Veterinary Surveillance Network, Institute of Infection, Veterinary
and Ecological Sciences, University of Liverpool, Liverpool, UK, (2)
Department of Computer Science, Durham University, Durham, UK, (3) Institute
for Animal Health and Food Safety, University of Las Palmas de Gran Canaria,
Las Palmas, Canary Archipelago, Spain)
- Abstract要約: 本稿では,大言語モデル (ChatGPT) とそれ以前に開発された正規表現 (RegexT) を比較し,獣医学的物語における過度に匿名化された身体状態スコア (BCS) を同定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Background: Veterinary clinical narratives remain a largely untapped resource
for addressing complex diseases. Here we compare the ability of a large
language model (ChatGPT) and a previously developed regular expression (RegexT)
to identify overweight body condition scores (BCS) in veterinary narratives.
Methods: BCS values were extracted from 4,415 anonymised clinical narratives
using either RegexT or by appending the narrative to a prompt sent to ChatGPT
coercing the model to return the BCS information. Data were manually reviewed
for comparison. Results: The precision of RegexT was higher (100%, 95% CI
94.81-100%) than the ChatGPT (89.3%; 95% CI82.75-93.64%). However, the recall
of ChatGPT (100%. 95% CI 96.18-100%) was considerably higher than that of
RegexT (72.6%, 95% CI 63.92-79.94%). Limitations: Subtle prompt engineering is
needed to improve ChatGPT output. Conclusions: Large language models create
diverse opportunities and, whilst complex, present an intuitive interface to
information but require careful implementation to avoid unpredictable errors.
- Abstract（参考訳）: 背景: 獣医学的物語は、複雑な疾患に対処するためのほとんど未解決の資源である。
ここでは,大型言語モデル (ChatGPT) と以前に開発された正規表現 (RegexT) を用いて,獣医学的物語における肥満体調スコア (BCS) を同定する能力を比較する。
方法: BCSの値は、RegexTまたはChatGPTに送信されたプロンプトに物語を付加することにより、匿名化された臨床物語4,415件から抽出された。
データは比較のために手動でレビューされた。
結果:chatgpt (89.3%, 95% ci82.75-93.64%) よりもレジストの精度 (100%, 95% ci 94.81-100%) が高かった。
しかし、ChatGPT(100%.95% CI 96.18-100%)のリコールはRegexT(72.6%、95% CI 63.92-79.94%)よりもかなり高かった。
限界:ChatGPT出力を改善するためには、サブセットプロンプトエンジニアリングが必要である。
結論: 大きな言語モデルは多様な機会を生み出し、複雑ではあるが情報に対する直感的なインターフェースを示すが、予測不能なエラーを避けるために注意深く実装する必要がある。
関連論文リスト
- Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。
注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。
以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
論文 参考訳（メタデータ） (2023-11-11T11:01:13Z) - Fact-Checking Generative AI: Ontology-Driven Biological Graphs for Disease-Gene Link Verification [45.65374554914359]
本研究の目的は,ChatGPTの内容から得られた生物学的グラフに埋め込まれた知識の事実チェックを実現することである。
そこで我々は,ChatGPTの関連エンティティの系統的尋問を可能にする生物学的ネットワークアプローチを採用した。
本研究は,ChatGPT生成テキスト中の集合疾患遺伝子関係の高精度な解析を行った。
論文 参考訳（メタデータ） (2023-08-07T22:13:30Z) - Identifying and Extracting Rare Disease Phenotypes with Large Language
Models [12.555067118549347]
ChatGPTは、複雑な人間のプロンプトに従い、高品質な応答を生成することができる革命的な大規模言語モデルである。
従来の微調整手法と比較し,詳細な誤差解析を行った。
ChatGPTは1ショット設定で、特定の実体(まれな疾患や徴候)に対して類似または高い精度を達成した。
論文 参考訳（メタデータ） (2023-06-22T03:52:12Z) - ChatLog: Carefully Evaluating the Evolution of ChatGPT Across Time [54.18651663847874]
ChatGPTは大きな成功をおさめ、インフラ的な地位を得たと考えられる。
既存のベンチマークでは,(1)周期的評価の無視,(2)きめ細かい特徴の欠如という2つの課題に直面する。
2023年3月から現在まで,21のNLPベンチマークに対して,さまざまな長文ChatGPT応答を大規模に記録した常時更新データセットであるChatLogを構築している。
論文 参考訳（メタデータ） (2023-04-27T11:33:48Z) - Translating Radiology Reports into Plain Language using ChatGPT and
GPT-4 with Prompt Learning: Promising Results, Limitations, and Potential [6.127537348178505]
ChatGPTは5点系において平均スコア4.27で、放射線学のレポートを平易な言語に翻訳することに成功した。
ChatGPTは、時折単純化された情報や無視された情報によって、応答のランダム性を示す。
その結果, GPT-4は報告の質を著しく向上させることができることがわかった。
論文 参考訳（メタデータ） (2023-03-16T02:21:39Z) - ChatGPT or Grammarly? Evaluating ChatGPT on Grammatical Error Correction
Benchmark [11.36853733574956]
ChatGPTはOpenAIが開発した最先端の人工知能言語モデルである。
商用のGEC製品(例:Grammarly)や最先端のモデル(例:GECToR)と比較する。
また,ChatGPTは,自動評価指標の基準値ほど性能が良くないことがわかった。
論文 参考訳（メタデータ） (2023-03-15T00:35:50Z) - Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。
本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。
提案手法により,下流タスクの性能が大幅に向上した。
論文 参考訳（メタデータ） (2023-03-08T03:56:31Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-19T12:29:33Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z) - BI-RADS BERT & Using Section Tokenization to Understand Radiology
Reports [0.18352113484137625]
ドメイン固有の文脈単語の埋め込みは、医学におけるそのような自然言語処理タスクにおいて印象的な精度を達成することが示されている。
BERTモデルは、胸部X線検査で事前訓練され、部分トークン化と組み合わせて、全野抽出の95.9%の精度が得られた。
論文 参考訳（メタデータ） (2021-10-14T17:25:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。