論文の概要: Accuracy of a Large Language Model in Distinguishing Anti- And Pro-vaccination Messages on Social Media: The Case of Human Papillomavirus Vaccination

• arxiv url: http://arxiv.org/abs/2404.06731v1
• Date: Wed, 10 Apr 2024 04:35:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 15:29:37.760125
• Title: Accuracy of a Large Language Model in Distinguishing Anti- And Pro-vaccination Messages on Social Media: The Case of Human Papillomavirus Vaccination
• Title（参考訳）: ソーシャルメディア上での抗ワクチン・予防接種メッセージの排除における大規模言語モデルの精度:ヒトパピローマウイルスワクチン接種を事例として
• Authors: Soojong Kim, Kwanho Kim, Claire Wonjeong Jo,
• Abstract要約: 本研究は, 感情分析におけるChatGPTの精度を評価し, HPVワクチン接種に対する異なるスタンスを識別するものである。 HPV予防接種に関連するメッセージは、さまざまなメッセージフォーマットをサポートするソーシャルメディアから収集された:Facebook(ロングフォーマット)とTwitter(ショートフォーマット)。 メッセージ毎の正確さを,人間と機械の意思決定の一致度として,0～1の範囲で測定した。
• 参考スコア（独自算出の注目度）: 1.8434042562191815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Objective. Vaccination has engendered a spectrum of public opinions, with social media acting as a crucial platform for health-related discussions. The emergence of artificial intelligence technologies, such as large language models (LLMs), offers a novel opportunity to efficiently investigate public discourses. This research assesses the accuracy of ChatGPT, a widely used and freely available service built upon an LLM, for sentiment analysis to discern different stances toward Human Papillomavirus (HPV) vaccination. Methods. Messages related to HPV vaccination were collected from social media supporting different message formats: Facebook (long format) and Twitter (short format). A selection of 1,000 human-evaluated messages was input into the LLM, which generated multiple response instances containing its classification results. Accuracy was measured for each message as the level of concurrence between human and machine decisions, ranging between 0 and 1. Results. Average accuracy was notably high when 20 response instances were used to determine the machine decision of each message: .882 (SE = .021) and .750 (SE = .029) for anti- and pro-vaccination long-form; .773 (SE = .027) and .723 (SE = .029) for anti- and pro-vaccination short-form, respectively. Using only three or even one instance did not lead to a severe decrease in accuracy. However, for long-form messages, the language model exhibited significantly lower accuracy in categorizing pro-vaccination messages than anti-vaccination ones. Conclusions. ChatGPT shows potential in analyzing public opinions on HPV vaccination using social media content. However, understanding the characteristics and limitations of a language model within specific public health contexts remains imperative.
• Abstract（参考訳）: 目的。 ワクチン接種はさまざまな世論を巻き込み、ソーシャルメディアは健康に関する議論の重要なプラットフォームとなっている。 大規模言語モデル(LLM)のような人工知能技術の出現は、公共の話題を効率的に調査する新たな機会を提供する。 本研究は、ヒトパピローマウイルス(HPV)ワクチン接種に対する異なるスタンスを識別するための感情分析のために、LLM上に構築された広く利用され、自由に利用できるChatGPTの精度を評価する。 メソッド。 HPVワクチン接種に関連するメッセージは、Facebook(ロングフォーマット)とTwitter(ショートフォーマット)という、さまざまなメッセージフォーマットをサポートするソーシャルメディアから収集された。 LLMには1,000の人的評価メッセージが入力され、その分類結果を含む複数の応答インスタンスが生成される。 メッセージ毎の正確さを,人間と機械の意思決定の一致度として,0～1の範囲で測定した。 結果。 平均的な精度は、各メッセージのマシン決定に20のレスポンスインスタンスを使用していたときに顕著に高かった: .882 (SE = .021) と .750 (SE = .029) のアンチワクチンロングフォーム、.773 (SE = .027) と .723 (SE = .029) のアンチワクチンショートフォームである。 3つまたは1つのインスタンスのみを使用することで、精度が大幅に低下することはなかった。 しかし, 長期メッセージにおいては, 予防接種防止メッセージの分類において, 予防接種防止メッセージの分類において, 言語モデルの方が有意に低い精度を示した。 結論。 ChatGPTは、ソーシャルメディアコンテンツを用いたHPVワクチン接種に関する世論の分析の可能性を示している。 しかし、特定の公衆衛生状況における言語モデルの特徴と限界を理解することは、依然として必須である。

関連論文リスト

• ChatGPT and Vaccine Hesitancy: A Comparison of English, Spanish, and French Responses Using a Validated Scale [1.5133368155322295]
  本稿では,英語,スペイン語,フランス語におけるChatGPT応答の保持度を測定するために,Vaccine Hesitancy Scaleを用いた。 結果は、健康関連Web情報の質とエクイティを評価し改善することに関心のある研究者に影響を及ぼす。
  論文  参考訳（メタデータ） (2024-05-06T11:13:03Z)
• Analyzing COVID-19 Vaccination Sentiments in Nigerian Cyberspace: Insights from a Manually Annotated Twitter Dataset [2.820717448579396]
  ナイジェリアにおけるワクチンの受け入れについて,トランスフォーマーに基づく言語モデルを用いて検討する。 関連するハッシュタグとキーワードを用いて複数言語ツイートをクロールすることで,新しいデータセットを開発した。 分析と可視化の結果、ほとんどのツイートは新型コロナウイルスワクチンに関する中立的な感情を表しており、一部の人は肯定的な見解を示しています。
  論文  参考訳（メタデータ） (2024-01-23T22:49:19Z)
• Agent-Based Model: Simulating a Virus Expansion Based on the Acceptance of Containment Measures [65.62256987706128]
  比較疫学モデルは、疾患の状態に基づいて個人を分類する。 我々は、適応されたSEIRDモデルと市民のための意思決定モデルを組み合わせたABMアーキテクチャを提案する。 スペイン・ア・コルナにおけるSARS-CoV-2感染症の進行状況について検討した。
  論文  参考訳（メタデータ） (2023-07-28T08:01:05Z)
• Dense Feature Memory Augmented Transformers for COVID-19 Vaccination Search Classification [60.49594822215981]
  本稿では,新型コロナウイルスワクチン関連検索クエリの分類モデルを提案する。 本稿では,モデルが対応可能なメモリトークンとして,高密度特徴を考慮した新しい手法を提案する。 この新しいモデリング手法により,Vaccine Search Insights (VSI) タスクを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-12-16T13:57:41Z)
• Doctors vs. Nurses: Understanding the Great Divide in Vaccine Hesitancy among Healthcare Workers [64.1526243118151]
  医者は新型コロナウイルスワクチンに対して全体的に陽性であることがわかりました。 医師は新型ワクチンよりもワクチンの有効性を懸念している。 看護婦は子供に対する潜在的な副作用にもっと注意を払う。
  論文  参考訳（メタデータ） (2022-09-11T14:22:16Z)
• Detection of Increased Time Intervals of Anti-Vaccine Tweets for COVID-19 Vaccine with BERT Model [0.0]
  ソーシャルメディアにおける予防接種の増加は、予防接種対策に使用される戦略を決定するのに役立つ。 人間の労働力で入力されたツイートを記録・追跡するのは非効率だ。 ディープラーニングベースの自然言語処理(NLP)モデルを用いて、対ワクチンツイートが集中する間隔を決定する。
  論文  参考訳（メタデータ） (2022-01-12T18:30:23Z)
• Insta-VAX: A Multimodal Benchmark for Anti-Vaccine and Misinformation Posts Detection on Social Media [32.252687203366605]
  ソーシャルメディア上の抗ワクチンポストは、混乱を招き、ワクチンに対する大衆の信頼を低下させることが示されている。 Insta-VAXは、ヒトワクチンに関連する64,957のInstagram投稿のサンプルからなる、新しいマルチモーダルデータセットである。
  論文  参考訳（メタデータ） (2021-12-15T20:34:57Z)
• Classifying vaccine sentiment tweets by modelling domain-specific representation and commonsense knowledge into context-aware attentive GRU [9.8215089151757]
  ワクチンのヘシタシーと拒絶はワクチン接種率の低いクラスターを生じさせ、ワクチン接種プログラムの有効性を低下させる。 ソーシャルメディアは、地理的な位置を含み、ワクチンに関する懸念を詳述することで、ワクチンの受け入れに対する新たなリスクを見積もる機会を提供する。 ワクチン関連ツイートなどのソーシャルメディア投稿を分類する手法では、一般的なドメインテキストで訓練された言語モデル(LM)を使用する。 本稿では、ワクチン関連ツイートで訓練されたドメイン固有LMを用いて相互接続されたコンポーネントで構成された新しいエンドツーエンドフレームワークについて、コンテキスト対応の双方向ゲート再帰ネットワーク(CK-BiGRU)にコモンセンス知識をモデル化する。
  論文  参考訳（メタデータ） (2021-06-17T15:16:08Z)
• Assessing the Severity of Health States based on Social Media Posts [62.52087340582502]
  ユーザの健康状態の重症度を評価するために,テキストコンテンツとコンテキスト情報の両方をモデル化する多視点学習フレームワークを提案する。 多様なNLUビューは、ユーザの健康を評価するために、タスクと個々の疾患の両方に効果を示す。
  論文  参考訳（メタデータ） (2020-09-21T03:45:14Z)
• Cross-lingual Transfer Learning for COVID-19 Outbreak Alignment [90.12602012910465]
  われわれは、Twitterを通じてイタリアの新型コロナウイルス感染症(COVID-19)の早期流行を訓練し、他のいくつかの国に移る。 実験の結果,クロスカントリー予測において最大0.85のスピアマン相関が得られた。
  論文  参考訳（メタデータ） (2020-06-05T02:04:25Z)
• Falling into the Echo Chamber: the Italian Vaccination Debate on Twitter [65.7192861893042]
  われわれは、Twitter上での予防接種に関する議論が、予防接種ヘシタントに対する潜在的な不安にどのように影響するかを調査する。 予防接種懐疑派や擁護派が独自の「エチョ室」に居住していることが判明した。 これらのエコーチャンバーの中心には熱心な支持者がいて、高い精度のネットワークとコンテンツベースの分類器を構築しています。
  論文  参考訳（メタデータ） (2020-03-26T13:55:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。