論文の概要: Review GIDE -- Restaurant Review Gastrointestinal Illness Detection and Extraction with Large Language Models

• arxiv url: http://arxiv.org/abs/2503.09743v1
• Date: Wed, 12 Mar 2025 18:42:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:54:47.379185
• Title: Review GIDE -- Restaurant Review Gastrointestinal Illness Detection and Extraction with Large Language Models
• Title（参考訳）: レビュー GIDE -- 大規模言語モデルによる胃腸疾患の検出と抽出のレストランレビュー
• Authors: Timothy Laurence, Joshua Harris, Leo Loman, Amy Douglas, Yung-Wai Chan, Luke Hounsome, Lesley Larkin, Michael Borowitz,
• Abstract要約: 食品性消化管疾患(英: Foodborne gastrointestinal disease, GI)は、イギリスにおける健康上の一般的な原因である。 本研究では,GI病の専門家と共同で開発した新しいアノテーションスキーマをYelp Openのレビューデータセットに適用する。 GI 病検出,症状抽出,食品抽出の3つの課題において,オープンウェイト LLM の性能評価を行った。
• 参考スコア（独自算出の注目度）: 0.47321763526812183
• License:
• Abstract: Foodborne gastrointestinal (GI) illness is a common cause of ill health in the UK. However, many cases do not interact with the healthcare system, posing significant challenges for traditional surveillance methods. The growth of publicly available online restaurant reviews and advancements in large language models (LLMs) present potential opportunities to extend disease surveillance by identifying public reports of GI illness. In this study, we introduce a novel annotation schema, developed with experts in GI illness, applied to the Yelp Open Dataset of reviews. Our annotations extend beyond binary disease detection, to include detailed extraction of information on symptoms and foods. We evaluate the performance of open-weight LLMs across these three tasks: GI illness detection, symptom extraction, and food extraction. We compare this performance to RoBERTa-based classification models fine-tuned specifically for these tasks. Our results show that using prompt-based approaches, LLMs achieve micro-F1 scores of over 90% for all three of our tasks. Using prompting alone, we achieve micro-F1 scores that exceed those of smaller fine-tuned models. We further demonstrate the robustness of LLMs in GI illness detection across three bias-focused experiments. Our results suggest that publicly available review text and LLMs offer substantial potential for public health surveillance of GI illness by enabling highly effective extraction of key information. While LLMs appear to exhibit minimal bias in processing, the inherent limitations of restaurant review data highlight the need for cautious interpretation of results.
• Abstract（参考訳）: 食品性消化管疾患(英: Foodborne gastrointestinal disease, GI)は、イギリスにおける健康上の一般的な原因である。 しかし、多くのケースは医療システムと相互作用せず、従来の監視方法に重大な課題を提起している。 大規模言語モデル(LLM)におけるオンラインレストランのパブリックレビューと進歩は、GI病の公的な報告を識別することによって、病気の監視を拡大する可能性を示している。 本研究では,GI病の専門家と共同で開発した新しいアノテーションスキーマをYelp Open Dataset of Reviewに適用する。 我々のアノテーションは、症状や食品に関する情報の詳細な抽出を含むために、バイナリー病の検出を超えて拡張されます。 本研究は, GI 病検出, 症状抽出, 食品抽出の3つの課題において, オープンウェイト LLM の性能評価を行った。 この性能をRoBERTaに基づく分類モデルと比較する。 以上の結果から,LSMは3つのタスクすべてに対して,マイクロF1スコアの90%以上を達成できることがわかった。 プロンプトのみを用いることで、より小さな微調整モデルを超えるマイクロF1スコアを達成できる。 さらに,3つのバイアスに焦点をあてた実験において,GI病検出におけるLLMの堅牢性を示す。 以上の結果から,公開レビューテキストとLCMは,鍵情報の高度に効率的な抽出を可能にすることにより,GI病の公衆衛生監視に極めて有益である可能性が示唆された。 LLMは処理のバイアスが最小であるように見えるが、レストランレビューデータの本質的な制限は、結果の慎重な解釈の必要性を浮き彫りにする。

関連論文リスト

• Addressing Hallucinations with RAG and NMISS in Italian Healthcare LLM Chatbots [0.0]
  大規模言語モデル(LLM)の幻覚に対する検出と緩和を併用する NMISS(Negative Missing Information Scoring System)を導入して検出を行う間、質問応答型検索拡張生成(RAG)フレームワークで緩和を実現する。 この組み合わせアプローチは、LLMにおける幻覚の低減とより正確な評価に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-05T15:11:12Z)
• Contextual Evaluation of Large Language Models for Classifying Tropical and Infectious Diseases [0.9798965031257411]
  我々は、オープンソースの熱帯感染症(TRIND)データセットを構築し、11000以上のプロンプトを産出する人口統計学的、意味論的、消費者的増強を含むように拡張した。 一般のLSMと医学のLSMと、LSMの結果を人間の専門家と比較し、LSMのパフォーマンスを評価した。 本研究では, TRINDs-LMのプロトタイプを開発し, LLMが健康にどのような影響を及ぼすかを知るための遊び場を提供する。
  論文  参考訳（メタデータ） (2024-09-13T21:28:54Z)
• Assessing and Enhancing Large Language Models in Rare Disease Question-answering [64.32570472692187]
  本稿では,レアな疾患の診断におけるLarge Language Models (LLMs) の性能を評価するために,レアな疾患問合せデータセット(ReDis-QA)を導入する。 ReDis-QAデータセットでは1360の高品質な質問応答ペアを収集し,205の稀な疾患をカバーした。 その後、いくつかのオープンソースのLCMをベンチマークし、希少疾患の診断がこれらのモデルにとって重要な課題であることを示した。 実験の結果,ReCOPは,ReDis-QAデータセット上でのLCMの精度を平均8%向上できることがわかった。
  論文  参考訳（メタデータ） (2024-08-15T21:09:09Z)
• Evaluating Large Language Models for Public Health Classification and Extraction Tasks [0.3545046504280562]
  本稿では,自由テキストの分類と抽出を含む公衆衛生業務におけるLarge Language Models(LLMs)の評価について述べる。 ゼロショット・イン・コンテクスト学習を用いて,全タスクにまたがるオープンウェイトLLMを11個評価した。 LLMが公衆衛生の専門家にとって、様々な無料テキストソースから情報を抽出するのに有用なツールであることを示す有望な兆候を見出した。
  論文  参考訳（メタデータ） (2024-05-23T16:33:18Z)
• Large Language Model Distilling Medication Recommendation Model [58.94186280631342]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Auditing Algorithmic Fairness in Machine Learning for Health with Severity-Based LOGAN [70.76142503046782]
  臨床予測タスクにおいて,局所バイアスを自動検出するSLOGANを用いて,機械学習ベースの医療ツールを補足することを提案する。 LOGANは、患者の重症度と過去の医療史における集団バイアス検出を文脈化することにより、既存のツールであるLOcal Group biAs detectioNに適応する。 SLOGANは, クラスタリング品質を維持しながら, 患者群の75%以上において, SLOGANよりも高い公平性を示す。
  論文  参考訳（メタデータ） (2022-11-16T08:04:12Z)
• TWEET-FID: An Annotated Dataset for Multiple Foodborne Illness Detection Tasks [14.523433519237607]
  食中毒は深刻なが予防可能な公衆衛生上の問題である。 効果的なアウトブレイク検出モデルを開発するためにラベル付きデータセットが不足している。 TWEET-FIDは、食品性疾患検出タスクのための、初めて公開された注釈付きデータセットである。
  論文  参考訳（メタデータ） (2022-05-22T03:47:18Z)
• Federated Learning Enables Big Data for Rare Cancer Boundary Detection [98.5549882883963]
  6大陸にわたる71の医療機関のデータを含む,これまでで最大のフェデレーテッドML研究の結果を報告する。 グリオ芽腫の稀な疾患に対する腫瘍境界自動検出装置を作製した。 当科では, 外科的に標的とした腫瘍の悪性度を高めるために, 33%の改善率を示し, 腫瘍全体に対する23%の改善率を示した。
  論文  参考訳（メタデータ） (2022-04-22T17:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。