論文の概要: Large Language Models' Varying Accuracy in Recognizing Risk-Promoting and Health-Supporting Sentiments in Public Health Discourse: The Cases of HPV Vaccination and Heated Tobacco Products

• arxiv url: http://arxiv.org/abs/2507.04364v1
• Date: Sun, 06 Jul 2025 11:57:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.14037
• Title: Large Language Models' Varying Accuracy in Recognizing Risk-Promoting and Health-Supporting Sentiments in Public Health Discourse: The Cases of HPV Vaccination and Heated Tobacco Products
• Title（参考訳）: 公衆衛生談話におけるリスク・プロモーション・ヘルス・サポーティング・センセーションの認識における大規模言語モデルの変数精度:HPVワクチン接種と加熱タバコ製品の場合
• Authors: Soojong Kim, Kwanho Kim, Hye Min Kim,
• Abstract要約: 大規模言語モデル(LLM)は強力な技術として注目されているが、その正確さと、健康問題に対するさまざまな意見の収集の可能性はほとんど解明されていない。 本研究は、リスク促進と健康支援の感情を検出する上で、3つの顕著なLSMがどの程度正確かを検討する。 特に、モデルはFacebook上でリスク促進感情の精度が高く、Twitter上でのヘルスサポートメッセージはより正確に検出される。
• 参考スコア（独自算出の注目度）: 2.0618817976970103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning methods are increasingly applied to analyze health-related public discourse based on large-scale data, but questions remain regarding their ability to accurately detect different types of health sentiments. Especially, Large Language Models (LLMs) have gained attention as a powerful technology, yet their accuracy and feasibility in capturing different opinions and perspectives on health issues are largely unexplored. Thus, this research examines how accurate the three prominent LLMs (GPT, Gemini, and LLAMA) are in detecting risk-promoting versus health-supporting sentiments across two critical public health topics: Human Papillomavirus (HPV) vaccination and heated tobacco products (HTPs). Drawing on data from Facebook and Twitter, we curated multiple sets of messages supporting or opposing recommended health behaviors, supplemented with human annotations as the gold standard for sentiment classification. The findings indicate that all three LLMs generally demonstrate substantial accuracy in classifying risk-promoting and health-supporting sentiments, although notable discrepancies emerge by platform, health issue, and model type. Specifically, models often show higher accuracy for risk-promoting sentiment on Facebook, whereas health-supporting messages on Twitter are more accurately detected. An additional analysis also shows the challenges LLMs face in reliably detecting neutral messages. These results highlight the importance of carefully selecting and validating language models for public health analyses, particularly given potential biases in training data that may lead LLMs to overestimate or underestimate the prevalence of certain perspectives.
• Abstract（参考訳）: 機械学習の手法は、大規模データに基づく健康関連公衆の談話の分析にますます応用されているが、異なる種類の健康感情を正確に検出する能力について疑問が残る。 特に、LLM(Large Language Models)は、強力な技術として注目されているが、その正確さと、健康問題に対するさまざまな意見や視点を捉えるための実現可能性はほとんど解明されていない。 そこで本研究では,ヒトパピローマウイルス (HPV) ワクチン接種と加熱タバコ製品 (HTPs) の2つの重要な公衆衛生分野において, 3つのLLM (GPT, Gemini, LLAMA) がリスク促進と健康支援の感情をいかに正確に検出しているかを検討した。 FacebookとTwitterのデータに基づいて、私たちは、感情分類のゴールドスタンダードとして人間のアノテーションを補足した、推奨された健康行動をサポートする、あるいは反対する複数のメッセージのセットをキュレートしました。 以上の結果から,3つのLSMは,プラットフォーム,健康問題,モデルタイプによって顕著な相違がみられたものの,リスク促進と健康支援の感情の分類において極めて正確であることが示唆された。 特に、モデルはFacebook上でリスク促進感情の精度が高く、Twitter上でのヘルスサポートメッセージはより正確に検出される。 さらなる分析では、中性メッセージを確実に検出する上でLLMが直面する課題も示されている。 これらの結果は、公共衛生分析のための言語モデルを慎重に選択し、検証することの重要性を強調し、特に、LLMが特定の視点の頻度を過大評価または過小評価する可能性のあるトレーニングデータの潜在的なバイアスを考慮に入れた。

関連論文リスト

• VaxGuard: A Multi-Generator, Multi-Type, and Multi-Role Dataset for Detecting LLM-Generated Vaccine Misinformation [8.08298631918046]
  既存のベンチマークでは、ワクチン関連の誤報や誤報拡散の多様な役割を見落としていることが多い。 本稿では,これらの課題に対処するために設計された新しいデータセットであるVaxGuardを紹介する。
  論文  参考訳（メタデータ） (2025-03-12T06:43:25Z)
• Optimizing Social Media Annotation of HPV Vaccine Skepticism and Misinformation Using Large Language Models: An Experimental Evaluation of In-Context Learning and Fine-Tuning Stance Detection Across Multiple Models [10.2201516537852]
  我々は,HPVワクチン関連ツイートに対するスタンス検出のためのソーシャルメディアコンテンツアノテーションのスケールアップのための最適戦略を実験的に決定する。 一般に、インコンテキスト学習は、HPVワクチンのソーシャルメディアコンテンツに対するスタンス検出において微調整よりも優れる。
  論文  参考訳（メタデータ） (2024-11-22T04:19:32Z)
• CARES: A Comprehensive Benchmark of Trustworthiness in Medical Vision Language Models [92.04812189642418]
  我々はCARESを紹介し,医療領域全体での医療LVLMの信頼性を評価することを目的とする。 我々は,Med-LVLMの信頼性を,信頼性,公正性,安全性,プライバシ,堅牢性,5次元にわたって評価する。
  論文  参考訳（メタデータ） (2024-06-10T04:07:09Z)
• Hierarchical Multi-Label Classification of Online Vaccine Concerns [8.271202196208]
  ワクチンの懸念は進化を続けるターゲットであり、新型コロナウイルス(COVID-19)のパンデミックで見られるように急速に変化する可能性がある。 本稿では,大規模言語モデル(LLM)を用いて,高価なトレーニングデータセットを必要とせず,ゼロショット設定でワクチンの関心事を検出するタスクについて検討する。
  論文  参考訳（メタデータ） (2024-02-01T20:56:07Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Dynamics and triggers of misinformation on vaccines [0.552480439325792]
  われわれは、さまざまなソーシャルメディアプラットフォーム(Facebook、Instagram、Twitter、YouTube)におけるイタリアのワクチンに関する6年間の議論を分析している。 われわれはまず、ニュース制作時系列の象徴的転送エントロピー分析を用いて、ワクチンに関する議題を慎重に推進する、疑わしい、あるいは信頼できるソースのカテゴリを決定する。 次に、伝達されたスタンスに基づいてワクチン関連コンテンツを正確に分類し、話題を議論する深層学習モデルを活用する。
  論文  参考訳（メタデータ） (2022-07-25T15:35:48Z)
• Assessing the Severity of Health States based on Social Media Posts [62.52087340582502]
  ユーザの健康状態の重症度を評価するために,テキストコンテンツとコンテキスト情報の両方をモデル化する多視点学習フレームワークを提案する。 多様なNLUビューは、ユーザの健康を評価するために、タスクと個々の疾患の両方に効果を示す。
  論文  参考訳（メタデータ） (2020-09-21T03:45:14Z)
• COVI White Paper [67.04578448931741]
  接触追跡は、新型コロナウイルスのパンデミックの進行を変える上で不可欠なツールだ。 カナダで開発されたCovid-19の公衆ピアツーピア接触追跡とリスク認識モバイルアプリケーションであるCOVIの理論的、設計、倫理的考察、プライバシ戦略について概説する。
  論文  参考訳（メタデータ） (2020-05-18T07:40:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。