論文の概要: Scope of Large Language Models for Mining Emerging Opinions in Online Health Discourse

• arxiv url: http://arxiv.org/abs/2403.03336v1
• Date: Tue, 5 Mar 2024 21:38:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 16:41:13.156050
• Title: Scope of Large Language Models for Mining Emerging Opinions in Online Health Discourse
• Title（参考訳）: オンライン健康談話における新たな意見のマイニングのための大規模言語モデルの範囲
• Authors: Joseph Gatto, Madhusudan Basak, Yash Srivastava, Philip Bohlman, Sarah M. Preum
• Abstract要約: 我々は、Redditから得られた(タイトル、コメント)ペア間のペアのスタンス検出問題として、新興の意見マイニングを定式化します。 i) クレーム識別の手法について詳述し, ポストタイトルがクレームを含むかどうかを識別するタスクと, (ii) LLMを用いたスタンス検出のための意見マイニング駆動評価フレームワークについて述べる。
• 参考スコア（独自算出の注目度）: 0.03214166687856062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we develop an LLM-powered framework for the curation and evaluation of emerging opinion mining in online health communities. We formulate emerging opinion mining as a pairwise stance detection problem between (title, comment) pairs sourced from Reddit, where post titles contain emerging health-related claims on a topic that is not predefined. The claims are either explicitly or implicitly expressed by the user. We detail (i) a method of claim identification -- the task of identifying if a post title contains a claim and (ii) an opinion mining-driven evaluation framework for stance detection using LLMs. We facilitate our exploration by releasing a novel test dataset, Long COVID-Stance, or LC-stance, which can be used to evaluate LLMs on the tasks of claim identification and stance detection in online health communities. Long Covid is an emerging post-COVID disorder with uncertain and complex treatment guidelines, thus making it a suitable use case for our task. LC-Stance contains long COVID treatment related discourse sourced from a Reddit community. Our evaluation shows that GPT-4 significantly outperforms prior works on zero-shot stance detection. We then perform thorough LLM model diagnostics, identifying the role of claim type (i.e. implicit vs explicit claims) and comment length as sources of model error.
• Abstract（参考訳）: 本稿では,オンラインヘルスコミュニティにおける新たな意見マイニングのキュレーションと評価のための LLM を利用したフレームワークを開発する。 われわれは、Redditから得られた(タイトル、コメント)ペア間のペアのスタンス検出問題として、新興の意見マイニングを定式化しています。 クレームは明示的にあるいは暗黙的にユーザによって表現される。 詳細は (i)クレーム識別方法 --ポストタイトルがクレームを含んでいるかどうかを識別するタスクと (II) LLMを用いた姿勢検出のための意見マイニングによる評価フレームワーク。 我々は,新たな検査データセットであるLong COVID-Stance(LC-stance)をリリースすることによって,オンライン健康コミュニティにおける請求項の識別とスタンス検出のタスクにおいてLCMを評価することを可能にした。 長期間のcovid-19は、不確実で複雑な治療ガイドラインを持つ、新たなポスト共発性障害です。 LC-StanceはRedditコミュニティからの長い新型コロナウイルス治療に関する談話を含んでいる。 評価の結果, GPT-4 はゼロショット位置検出における先行作業よりも優れていた。 次に,詳細なllmモデル診断を行い,クレームタイプ(暗黙的あるいは明示的なクレーム)とコメント長をモデルエラーの原因として特定した。

関連論文リスト

• Fact or Guesswork? Evaluating Large Language Model's Medical Knowledge with Structured One-Hop Judgment [108.55277188617035]
  大規模言語モデル(LLM)は、様々な下流タスクドメインで広く採用されているが、実際の医学的知識を直接呼び起こし適用する能力はいまだ探索されていない。 既存の医療QAベンチマークの多くは、複雑な推論やマルチホップ推論を評価しており、LSM固有の医療知識を推論能力から切り離すことが困難である。 LLMの1ホップの医療知識を測定するために特別に設計されたデータセットであるMedical Knowledge Judgmentを紹介する。
  論文  参考訳（メタデータ） (2025-02-20T05:27:51Z)
• LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
  LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。 本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。 実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
  論文  参考訳（メタデータ） (2025-01-07T08:49:04Z)
• RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement [85.08223786819532]
  既存の大規模言語モデル(LLM)は、例外的な問題解決能力を示すが、複雑な推論タスクに苦労する可能性がある。 検索情報を統合した新しいRAG手法である textbfRAG-Star を提案する。 Llama-3.1-8B-Instruct と GPT-4o を併用した実験により,RAG-Star は従来のRAG と推理法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-12-17T13:05:36Z)
• Truth or Mirage? Towards End-to-End Factuality Evaluation with LLM-Oasis [78.07225438556203]
  LLM-Oasisは、エンド・ツー・エンドの事実性評価をトレーニングするための最大のリソースである。 ウィキペディアからクレームを抽出し、これらのクレームのサブセットを偽造し、事実と非事実のテキストのペアを生成することで構築される。 次に、データセットの品質を検証し、事実性評価システムのための金の標準テストセットを作成するために、人間のアノテータに依存します。
  論文  参考訳（メタデータ） (2024-11-29T12:21:15Z)
• Ranking Over Scoring: Towards Reliable and Robust Automated Evaluation of LLM-Generated Medical Explanatory Arguments [0.9543943371833467]
  本研究は, プロクシータスクとランキングに頼って, LLM生成医療説明論の新たな評価手法を提案する。 提案手法は,非議論的テキストの評価を含む,敵対的攻撃に対して頑健であることを示す。
  論文  参考訳（メタデータ） (2024-09-30T17:59:33Z)
• HealthQ: Unveiling Questioning Capabilities of LLM Chains in Healthcare Conversations [23.09755446991835]
  デジタル医療において、大きな言語モデル(LLM)は質問応答能力を高めるために主に利用されてきた。 本稿では,LLMヘルスケアチェーンの問合せ能力を評価するための新しいフレームワークであるHealthQを提案する。
  論文  参考訳（メタデータ） (2024-09-28T23:59:46Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Tool Calling: Enhancing Medication Consultation via Retrieval-Augmented Large Language Models [10.04914417538886]
  大規模言語モデル(LLM)は、様々な言語タスクで顕著な成功を収めてきたが、幻覚や時間的ミスアライメントに悩まされている。 従来のtextitRetrieve-then-Read の代わりに,新しい textitDistill-Retrieve-Read フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-27T13:11:42Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)
• Retrieving Evidence from EHRs with LLMs: Possibilities and Challenges [18.56314471146199]
  時間的制約を伴って患者に関連付けられた大量のメモは、実質的に不可能な証拠を手作業で特定する。 患者EHRにおける非構造的証拠を効率よく回収・要約するためのメカニズムとして, LLMを用いたゼロショット戦略を提案し, 評価した。
  論文  参考訳（メタデータ） (2023-09-08T18:44:47Z)
• Appraising the Potential Uses and Harms of LLMs for Medical Systematic Reviews [21.546144601311187]
  大規模言語モデル(LLM)は、必要に応じて文献レビューを自動的に生成する可能性がある。 LLMは幻覚や省略によって不正確な(そして潜在的に誤解を招く)テキストを生成することがある。
  論文  参考訳（メタデータ） (2023-05-19T17:09:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。