論文の概要: Automated Thematic Analyses Using LLMs: Xylazine Wound Management Social Media Chatter Use Case

• arxiv url: http://arxiv.org/abs/2507.10803v1
• Date: Mon, 14 Jul 2025 20:57:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 19:46:02.886281
• Title: Automated Thematic Analyses Using LLMs: Xylazine Wound Management Social Media Chatter Use Case
• Title（参考訳）: LLMを用いたテーマ分析の自動化:Xylazine Wound Management Social Chatter ユースケース
• Authors: JaMor Hairston, Ritvik Ranjan, Sahithi Lakamana, Anthony Spadaro, Selen Bozkurt, Jeanmarie Perrone, Abeed Sarker,
• Abstract要約: 大規模言語モデル(LLM)は、帰納的テーマ分析において課題に直面している。 専門家主導によるソーシャルメディアデータのテーマ分析を再現するために, LLM を用いた可能性について検討した。
• 参考スコア（独自算出の注目度）: 2.583403860629219
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Background Large language models (LLMs) face challenges in inductive thematic analysis, a task requiring deep interpretive and domain-specific expertise. We evaluated the feasibility of using LLMs to replicate expert-driven thematic analysis of social media data. Methods Using two temporally non-intersecting Reddit datasets on xylazine (n=286 and n=686, for model optimization and validation, respectively) with twelve expert-derived themes, we evaluated five LLMs against expert coding. We modeled the task as a series of binary classifications, rather than a single, multi-label classification, employing zero-, single-, and few-shot prompting strategies and measuring performance via accuracy, precision, recall, and F1-score. Results On the validation set, GPT-4o with two-shot prompting performed best (accuracy: 90.9%; F1-score: 0.71). For high-prevalence themes, model-derived thematic distributions closely mirrored expert classifications (e.g., xylazine use: 13.6% vs. 17.8%; MOUD use: 16.5% vs. 17.8%). Conclusions Our findings suggest that few-shot LLM-based approaches can automate thematic analyses, offering a scalable supplement for qualitative research. Keywords: thematic analysis, large language models, natural language processing, qualitative analysis, social media, prompt engineering, public health
• Abstract（参考訳）: 背景 大規模言語モデル(LLM)は、深い解釈とドメイン固有の専門知識を必要とする課題である帰納的テーマ分析の課題に直面します。 専門家主導によるソーシャルメディアデータのテーマ分析を再現するために, LLM を用いた可能性について検討した。 モデル最適化と検証のためにxylazine(n=286,n=686,それぞれモデル最適化と検証)上のRedditデータセットを時間的に非干渉する2つの手法を用いて、専門家による12のテーマを用いて、専門家によるコーディングに対して5つのLSMを評価した。 我々は、ゼロ、シングル、および少数ショットのプロンプト戦略を採用し、精度、精度、リコール、F1スコアを用いて性能を測定し、単一、複数ラベルの分類ではなく、一連のバイナリ分類としてタスクをモデル化した。 結果 検証セットでは、2発のプロンプト付きGPT-4oが最も優れていた(精度90.9%、F1スコア0.71)。 高頻度テーマでは、モデル由来の主題分布は専門家の分類を密接に反映している(例えば、キシラジンの使用:13.6%対17.8%、MOUD使用:16.5%対17.8%)。 結論 LLM をベースとしたアプローチは,理論解析を自動化し,質的研究にスケーラブルなサプリメントを提供することが示唆された。 キーワード:テーマ分析、大規模言語モデル、自然言語処理、質的分析、ソーシャルメディア、迅速なエンジニアリング、公衆衛生

関連論文リスト

• Can Reasoning LLMs Enhance Clinical Document Classification? [7.026393789313748]
  大規模言語モデル(LLM)は、このタスクの正確性と効率性において有望な改善を提供する。 本研究では,8つのLDMの性能と一貫性を評価する。4つの推論(Qwen QWQ, Deepseek Reasoner, GPT o3 Mini, Gemini 2.0 Flash Thinking)と4つの非推論(Llama 3.3, GPT 4o Mini, Gemini 2.0 Flash, Deepseek Chat)。 その結果、推論モデルは精度71%(68%)とF1スコア(67%(60%))で非推論モデルを上回った。
  論文  参考訳（メタデータ） (2025-04-10T18:00:27Z)
• Text Chunking for Document Classification for Urban System Management using Large Language Models [0.0]
  都市システムは複雑なテキストドキュメンテーションを用いて管理され、要求を設定し、構築された環境性能を評価する。 本稿では,大規模言語モデル(LLM)を定性的な符号化活動に適用し,資源要求の低減に寄与する。
  論文  参考訳（メタデータ） (2025-03-31T22:48:30Z)
• Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning [76.10639521319382]
  シンボリックなテキストベースでグラデーションのないMixture-of-ExpertsフレームワークであるSybolic-MoEを提案する。 我々は,Sybolic-MoEのインスタンスレベルのエキスパート選択により,大きなマージンで性能が向上することを示した。
  論文  参考訳（メタデータ） (2025-03-07T18:03:13Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs [62.84082370758761]
  CharXivは、arXiv論文の2,323のチャートを含む総合的な評価スイートである。 品質を確保するために、すべてのチャートと質問は、人間の専門家によって手書きされ、キュレーションされ、検証されます。 その結果、最強のプロプライエタリモデルの推論スキルの間に、かなり過小評価されていたギャップが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-26T17:50:11Z)
• Data Efficient Evaluation of Large Language Models and Text-to-Image Models via Adaptive Sampling [3.7467864495337624]
  SubLIMEはテキスト・ツー・イメージ・モデルのためのデータ効率評価フレームワークである。 我々のアプローチは、完全なデータセットと比較して統計的に整合したモデルランキングを保証する。 HEIMのリーダーボードを利用して、17の異なるベンチマークで25のテキスト・ツー・イメージモデルをカバーしています。
  論文  参考訳（メタデータ） (2024-06-21T07:38:55Z)
• SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
  SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。 SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
  論文  参考訳（メタデータ） (2024-06-10T21:22:08Z)
• Exploring the use of a Large Language Model for data extraction in systematic reviews: a rapid feasibility study [0.28318468414401093]
  本稿では,大規模言語モデル (LLM) である GPT-4 を用いて,体系的レビューにおけるデータ抽出(セミ)の実現可能性について述べる。 その結果,約80%の精度で,領域間での変動が認められた。
  論文  参考訳（メタデータ） (2024-05-23T11:24:23Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)
• MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
  MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。 MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
  論文  参考訳（メタデータ） (2024-02-18T04:28:28Z)
• Using Large Language Models to Automate Category and Trend Analysis of Scientific Articles: An Application in Ophthalmology [4.455826633717872]
  本稿では,Large Language Models (LLM) のパワーを活用した記事分類の自動手法を提案する。 平均精度は0.86、平均F1は0.85である。 モデルの他の科学分野への拡張性は、様々な分野にわたる研究やトレンド分析の促進にその影響を広げる。
  論文  参考訳（メタデータ） (2023-08-31T12:45:53Z)
• Benchmarking large language models for biomedical natural language processing applications and recommendations [22.668383945059762]
  大規模言語モデル(LLM)は、一般的なドメインにおいて有望であることを示している。 我々は、そのゼロショット、少数ショット、微調整性能を従来のBERTモデルやBARTモデルと比較する。 LLM出力の不足情報や幻覚といった問題を見つけます。
  論文  参考訳（メタデータ） (2023-05-10T13:40:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。