論文の概要: Optimizing Social Media Annotation of HPV Vaccine Skepticism and Misinformation Using Large Language Models: An Experimental Evaluation of In-Context Learning and Fine-Tuning Stance Detection Across Multiple Models

• arxiv url: http://arxiv.org/abs/2411.14720v1
• Date: Fri, 22 Nov 2024 04:19:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:03:18.688277
• Title: Optimizing Social Media Annotation of HPV Vaccine Skepticism and Misinformation Using Large Language Models: An Experimental Evaluation of In-Context Learning and Fine-Tuning Stance Detection Across Multiple Models
• Title（参考訳）: 大規模言語モデルを用いたHPVワクチン懐疑と誤報のソーシャルメディア注釈の最適化:複数モデル間のインコンテクスト学習と微調整スタンス検出の実験的検討
• Authors: Luhang Sun, Varsha Pendyala, Yun-Shiuan Chuang, Shanglin Yang, Jonathan Feldman, Andrew Zhao, Munmun De Choudhury, Sijia Yang, Dhavan Shah,
• Abstract要約: 我々は,HPVワクチン関連ツイートに対するスタンス検出のためのソーシャルメディアコンテンツアノテーションのスケールアップのための最適戦略を実験的に決定する。 一般に、インコンテキスト学習は、HPVワクチンのソーシャルメディアコンテンツに対するスタンス検出において微調整よりも優れる。
• 参考スコア（独自算出の注目度）: 10.2201516537852
• License:
• Abstract: This paper leverages large-language models (LLMs) to experimentally determine optimal strategies for scaling up social media content annotation for stance detection on HPV vaccine-related tweets. We examine both conventional fine-tuning and emergent in-context learning methods, systematically varying strategies of prompt engineering across widely used LLMs and their variants (e.g., GPT4, Mistral, and Llama3, etc.). Specifically, we varied prompt template design, shot sampling methods, and shot quantity to detect stance on HPV vaccination. Our findings reveal that 1) in general, in-context learning outperforms fine-tuning in stance detection for HPV vaccine social media content; 2) increasing shot quantity does not necessarily enhance performance across models; and 3) different LLMs and their variants present differing sensitivity to in-context learning conditions. We uncovered that the optimal in-context learning configuration for stance detection on HPV vaccine tweets involves six stratified shots paired with detailed contextual prompts. This study highlights the potential and provides an applicable approach for applying LLMs to research on social media stance and skepticism detection.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)を活用し,HPVワクチン関連ツイートに対するスタンス検出のためのソーシャルメディアコンテンツアノテーションのスケールアップのための最適な戦略を実験的に決定する。 本研究では,従来の微調整法と創発的文脈学習法の両方について検討し,LLMとその変種(例えば,GPT4,Mistral,Llama3など)にまたがる迅速なエンジニアリング戦略を体系的に検討した。 具体的には,HPVワクチン接種に対する姿勢を検出するために,プロンプトテンプレート設計,ショットサンプリング法,ショット量を変化させた。 私たちの発見は 1) 一般に、インコンテキスト学習は、HPVワクチンのソーシャルメディアコンテンツに対するスタンス検出において微調整よりも優れる。 2 ショット量の増加は、必ずしもモデル全体の性能を高めるものではない。 3) 異なるLLMとその変異体は, 文脈内学習条件に対する感受性が異なる。 我々は、HPVワクチンツイートのスタンス検出に最適なコンテキスト内学習構成が、詳細な文脈的プロンプトと組み合わせた6つの階層化されたショットを含んでいることを明らかにした。 本研究は, LLMをソーシャルメディアのスタンスや懐疑的検出に応用するための可能性を強調し, 適用可能なアプローチを提供する。

関連論文リスト

• LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
  LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。 本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。 実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
  論文  参考訳（メタデータ） (2025-01-07T08:49:04Z)
• Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
  KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。 MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
  論文  参考訳（メタデータ） (2024-10-06T18:46:28Z)
• XAI4LLM. Let Machine Learning Models and LLMs Collaborate for Enhanced In-Context Learning in Healthcare [16.79952669254101]
  多層構造プロンプトを用いたゼロショット/ファウショットインコンテキスト学習(ICL)のための新しい手法を開発した。 また、ユーザと大規模言語モデル(LLM)間の2つのコミュニケーションスタイルの有効性についても検討する。 本研究は,性別バイアスや偽陰性率などの診断精度とリスク要因を系統的に評価する。
  論文  参考訳（メタデータ） (2024-05-10T06:52:44Z)
• Large Language Model Distilling Medication Recommendation Model [58.94186280631342]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• Hierarchical Multi-Label Classification of Online Vaccine Concerns [8.271202196208]
  ワクチンの懸念は進化を続けるターゲットであり、新型コロナウイルス(COVID-19)のパンデミックで見られるように急速に変化する可能性がある。 本稿では,大規模言語モデル(LLM)を用いて,高価なトレーニングデータセットを必要とせず,ゼロショット設定でワクチンの関心事を検出するタスクについて検討する。
  論文  参考訳（メタデータ） (2024-02-01T20:56:07Z)
• Evaluating LLM -- Generated Multimodal Diagnosis from Medical Images and Symptom Analysis [2.4554686192257424]
  大規模言語モデル(LLM)は最先端の人工知能技術である。 マルチモーダル多重選択質問紙を用いたLCMによる診断の正確性および正確性について検討した。 病理学の広い知識領域に含まれる幅広い疾患, 病態, 化学物質, 関連エンティティタイプについて検討した。
  論文  参考訳（メタデータ） (2024-01-28T09:25:12Z)
• VRPTEST: Evaluating Visual Referring Prompting in Large Multimodal Models [19.32035955420203]
  我々は,様々な視覚的参照促進戦略を用いて,LMM(Large Multimodal Models)の最初の包括的解析を行う。 人間の介入や手動ラベリングを必要とせずにLMMの精度を評価するための自動評価フレームワークを開発した。 現在のプロプライエタリモデルは一般的にオープンソースモデルよりも優れており、平均精度は22.70%向上している。
  論文  参考訳（メタデータ） (2023-12-07T06:53:55Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Evaluating COVID-19 vaccine allocation policies using Bayesian $m$-top exploration [53.122045119395594]
  マルチアーム・バンディット・フレームワークを用いてワクチンのアロケーション戦略を評価する新しい手法を提案する。 $m$-top Exploringにより、アルゴリズムは最高のユーティリティを期待する$m$ポリシーを学ぶことができる。 ベルギーのCOVID-19流行を個人モデルSTRIDEを用いて検討し、予防接種方針のセットを学習する。
  論文  参考訳（メタデータ） (2023-01-30T12:22:30Z)
• Dense Feature Memory Augmented Transformers for COVID-19 Vaccination Search Classification [60.49594822215981]
  本稿では,新型コロナウイルスワクチン関連検索クエリの分類モデルを提案する。 本稿では,モデルが対応可能なメモリトークンとして,高密度特徴を考慮した新しい手法を提案する。 この新しいモデリング手法により,Vaccine Search Insights (VSI) タスクを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-12-16T13:57:41Z)
• Disentangled Learning of Stance and Aspect Topics for Vaccine Attitude Detection in Social Media [40.61499595293957]
  VADetと呼ばれるワクチンの姿勢検出のための新しい半教師付きアプローチを提案する。 VADetは、歪んだ姿勢とアスペクトトピックを学習することができ、スタンス検出とツイートクラスタリングの両方で、既存のアスペクトベースの感情分析モデルより優れています。
  論文  参考訳（メタデータ） (2022-05-06T15:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。