論文の概要: Unveiling Performance Challenges of Large Language Models in Low-Resource Healthcare: A Demographic Fairness Perspective

• arxiv url: http://arxiv.org/abs/2412.00554v1
• Date: Sat, 30 Nov 2024 18:52:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:50:43.682925
• Title: Unveiling Performance Challenges of Large Language Models in Low-Resource Healthcare: A Demographic Fairness Perspective
• Title（参考訳）: 低リソース医療における大規模言語モデルの性能課題--デモグラフィックフェアネスの視点から
• Authors: Yue Zhou, Barbara Di Eugenio, Lu Cheng,
• Abstract要約: 我々は、6つの多様な医療タスクにまたがる3つの一般的な学習フレームワークを用いて、最先端の大規模言語モデル(LLM)を評価した。 LLMを現実の医療タスクに適用する上での重大な課題と、人口統計群全体での永続的公平性の問題を見出した。
• 参考スコア（独自算出の注目度）: 7.1047384702030625
• License:
• Abstract: This paper studies the performance of large language models (LLMs), particularly regarding demographic fairness, in solving real-world healthcare tasks. We evaluate state-of-the-art LLMs with three prevalent learning frameworks across six diverse healthcare tasks and find significant challenges in applying LLMs to real-world healthcare tasks and persistent fairness issues across demographic groups. We also find that explicitly providing demographic information yields mixed results, while LLM's ability to infer such details raises concerns about biased health predictions. Utilizing LLMs as autonomous agents with access to up-to-date guidelines does not guarantee performance improvement. We believe these findings reveal the critical limitations of LLMs in healthcare fairness and the urgent need for specialized research in this area.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)の性能,特に実世界の医療課題の解決における人口動態の公平性について検討する。 我々は、6つの多様な医療タスクにまたがる3つの一般的な学習フレームワークによる最先端のLLMを評価し、現実の医療タスクにLLMを適用する上での重大な課題と、人口集団間での永続的な公平性の問題を見出した。 また、人口統計情報を明示的に提供すると混合結果が得られるのに対し、LSMがそのような詳細を推測する能力は、偏りのある健康予測に関する懸念を喚起する。 LLMを最新のガイドラインにアクセスできる自律エージェントとして活用することは、パフォーマンス改善を保証するものではない。 これらの知見は,医療フェアネスにおけるLSMの限界と,この分野における専門研究への緊急の必要性を明らかにするものである。

関連論文リスト

• Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
  本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。 本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。 鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T07:49:13Z)
• Mitigating the Risk of Health Inequity Exacerbated by Large Language Models [5.02540629164568]
  大規模言語モデルの入力に非決定的な社会デマトグラフィー要素を組み込むことは、誤った有害な出力につながる可能性があることを示す。 LLMベースの医療応用における健康不平等のリスクを検知・緩和する新しいフレームワークであるEquityGuardを紹介する。
  論文  参考訳（メタデータ） (2024-10-07T16:40:21Z)
• Contextual Evaluation of Large Language Models for Classifying Tropical and Infectious Diseases [0.9798965031257411]
  我々は、オープンソースの熱帯感染症(TRIND)データセットを構築し、11000以上のプロンプトを産出する人口統計学的、意味論的、消費者的増強を含むように拡張した。 一般のLSMと医学のLSMと、LSMの結果を人間の専門家と比較し、LSMのパフォーマンスを評価した。 本研究では, TRINDs-LMのプロトタイプを開発し, LLMが健康にどのような影響を及ぼすかを知るための遊び場を提供する。
  論文  参考訳（メタデータ） (2024-09-13T21:28:54Z)
• D-NLP at SemEval-2024 Task 2: Evaluating Clinical Inference Capabilities of Large Language Models [5.439020425819001]
  大規模言語モデル(LLM)は、様々なタスクにおける顕著なパフォーマンスのために、大きな注目を集め、広く使われている。 しかし、幻覚、事実的矛盾、数値的定量的推論の限界などの問題を含む、彼ら自身の課題は存在しない。
  論文  参考訳（メタデータ） (2024-05-07T10:11:14Z)
• A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law [65.87885628115946]
  大規模言語モデル(LLM)は、金融、医療、法律の展望に革命をもたらしている。 我々は、医療における診断・治療方法論の強化、財務分析の革新、法的解釈・コンプライアンス戦略の精査におけるLCMの役割を強調した。 これらの分野におけるLLMアプリケーションの倫理を批判的に検討し、既存の倫理的懸念と透明で公平で堅牢なAIシステムの必要性を指摘した。
  論文  参考訳（メタデータ） (2024-05-02T22:43:02Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Large language models in healthcare and medical domain: A review [4.456243157307507]
  大規模言語モデル(LLM)は、自由テキストクエリに対する熟練した応答を提供する。 このレビューでは、多様な医療応用の効率性と効果を増幅するLLMの可能性について考察する。
  論文  参考訳（メタデータ） (2023-12-12T20:54:51Z)
• A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
  大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。 本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
  論文  参考訳（メタデータ） (2023-11-09T02:55:58Z)
• Better to Ask in English: Cross-Lingual Evaluation of Large Language Models for Healthcare Queries [31.82249599013959]
  大規模言語モデル(LLM)は、一般大衆が情報にアクセスし消費する方法を変えつつある。 LLMは印象的な言語理解と生成能力を示しているが、その安全性に関する懸念は依然として最重要である。 これらのLLMが非英語の文脈でどのように機能するかは、まだ不明である。
  論文  参考訳（メタデータ） (2023-10-19T20:02:40Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。