論文の概要: LLM-TA: An LLM-Enhanced Thematic Analysis Pipeline for Transcripts from Parents of Children with Congenital Heart Disease

• arxiv url: http://arxiv.org/abs/2502.01620v1
• Date: Mon, 03 Feb 2025 18:51:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:58:18.981485
• Title: LLM-TA: An LLM-Enhanced Thematic Analysis Pipeline for Transcripts from Parents of Children with Congenital Heart Disease
• Title（参考訳）: LLM-TA : 先天性心疾患児の両親の転写解析用LLM-Enhanced Thematic Analysis Pipeline
• Authors: Muhammad Zain Raza, Jiawei Xu, Terence Lim, Lily Boddy, Carlos M. Mery, Andrew Well, Ying Ding,
• Abstract要約: Thematic Analysis (TA)はリソース集約型であり、大規模で複雑なデータセットのスケールが困難である。 本研究では, 大規模言語モデル (LLM) が高用量医療環境において誘導的TAプロセスを増大させる可能性について検討した。
• 参考スコア（独自算出の注目度）: 4.726383091092747
• License:
• Abstract: Thematic Analysis (TA) is a fundamental method in healthcare research for analyzing transcript data, but it is resource-intensive and difficult to scale for large, complex datasets. This study investigates the potential of large language models (LLMs) to augment the inductive TA process in high-stakes healthcare settings. Focusing on interview transcripts from parents of children with Anomalous Aortic Origin of a Coronary Artery (AAOCA), a rare congenital heart disease, we propose an LLM-Enhanced Thematic Analysis (LLM-TA) pipeline. Our pipeline integrates an affordable state-of-the-art LLM (GPT-4o mini), LangChain, and prompt engineering with chunking techniques to analyze nine detailed transcripts following the inductive TA framework. We evaluate the LLM-generated themes against human-generated results using thematic similarity metrics, LLM-assisted assessments, and expert reviews. Results demonstrate that our pipeline outperforms existing LLM-assisted TA methods significantly. While the pipeline alone has not yet reached human-level quality in inductive TA, it shows great potential to improve scalability, efficiency, and accuracy while reducing analyst workload when working collaboratively with domain experts. We provide practical recommendations for incorporating LLMs into high-stakes TA workflows and emphasize the importance of close collaboration with domain experts to address challenges related to real-world applicability and dataset complexity. https://github.com/jiaweixu98/LLM-TA
• Abstract（参考訳）: Thematic Analysis (TA)は、転写データを分析するための医療研究の基本的な方法であるが、大規模で複雑なデータセットに対してリソース集約的でスケールが難しい。 本研究では, 大規模言語モデル (LLM) が高用量医療環境において誘導的TAプロセスを増大させる可能性について検討した。 LLM-Enhanced Thematic Analysis (LLM-TA) パイプラインを提案する。 我々のパイプラインは、手頃な手頃な最先端のLCM(GPT-4o mini)とLangChainを統合し、チャンキング技術を使って、インダクティブTAフレームワークに続く9つの詳細な書き起こしを解析する。 テーマ類似度測定値, LLM支援評価値, 専門家評価値を用いて, LLM生成テーマを人為的結果に対して評価する。 その結果,我々のパイプラインは既存のLCM支援TA法よりも優れていた。 パイプラインだけでは、インダクティブTAの人間レベルの品質に達していないが、ドメインエキスパートと共同作業する際のアナリストの作業量を削減しながら、スケーラビリティ、効率、正確性を改善する大きな可能性を秘めている。 我々は,LLMを高精細なTAワークフローに組み込むための実践的なレコメンデーションを提供し,実世界の適用性とデータセットの複雑さに関わる課題に対処するために,ドメインエキスパートと緊密に協力することの重要性を強調した。 https://github.com/jiaweixu98/LLM-TA

関連論文リスト

• The LLM Effect: Are Humans Truly Using LLMs, or Are They Being Influenced By Them Instead? [60.01746782465275]
  大規模言語モデル(LLM)は、様々な分析タスクにおいて、人間のパフォーマンスに近い能力を示している。 本稿では,Human-LLMパートナーシップに着目した構造化ユーザスタディにより,特殊作業におけるLLMの効率と精度について検討する。
  論文  参考訳（メタデータ） (2024-10-07T02:30:18Z)
• XAI4LLM. Let Machine Learning Models and LLMs Collaborate for Enhanced In-Context Learning in Healthcare [16.79952669254101]
  多層構造プロンプトを用いたゼロショット/ファウショットインコンテキスト学習(ICL)のための新しい手法を開発した。 また、ユーザと大規模言語モデル(LLM)間の2つのコミュニケーションスタイルの有効性についても検討する。 本研究は,性別バイアスや偽陰性率などの診断精度とリスク要因を系統的に評価する。
  論文  参考訳（メタデータ） (2024-05-10T06:52:44Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• Large Language Model Distilling Medication Recommendation Model [58.94186280631342]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• Zero-shot Causal Graph Extrapolation from Text via LLMs [50.596179963913045]
  我々は,自然言語から因果関係を推定する大規模言語モデル (LLM) の能力を評価する。 LLMは、(特別な)トレーニングサンプルを必要とせずにペア関係のベンチマークで競合性能を示す。 我々は、反復的なペアワイズクエリを通して因果グラフを外挿するアプローチを拡張した。
  論文  参考訳（メタデータ） (2023-12-22T13:14:38Z)
• Cost-Efficient Prompt Engineering for Unsupervised Entity Resolution [2.6080756513915824]
  エンティティ分解(ER)は、2つのエンティティが同じ基礎エンティティをいつ参照するかを半自動決定する問題である。 最近の大規模言語モデル(LLM)はERをよりシームレスでドメインに依存しないものにする機会を提供する。 比較的単純で費用効率のよいERプロンプトエンジニアリング手法を検討し、2つの実世界のデータセット上でERに適用する。
  論文  参考訳（メタデータ） (2023-10-09T21:57:07Z)
• Retrieving Evidence from EHRs with LLMs: Possibilities and Challenges [18.56314471146199]
  時間的制約を伴って患者に関連付けられた大量のメモは、実質的に不可能な証拠を手作業で特定する。 患者EHRにおける非構造的証拠を効率よく回収・要約するためのメカニズムとして, LLMを用いたゼロショット戦略を提案し, 評価した。
  論文  参考訳（メタデータ） (2023-09-08T18:44:47Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。