論文の概要: Scope of Large Language Models for Mining Emerging Opinions in Online Health Discourse

• arxiv url: http://arxiv.org/abs/2403.03336v1
• Date: Tue, 5 Mar 2024 21:38:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 16:41:13.156050
• Title: Scope of Large Language Models for Mining Emerging Opinions in Online Health Discourse
• Title（参考訳）: オンライン健康談話における新たな意見のマイニングのための大規模言語モデルの範囲
• Authors: Joseph Gatto, Madhusudan Basak, Yash Srivastava, Philip Bohlman, Sarah M. Preum
• Abstract要約: 我々は、Redditから得られた(タイトル、コメント)ペア間のペアのスタンス検出問題として、新興の意見マイニングを定式化します。 i) クレーム識別の手法について詳述し, ポストタイトルがクレームを含むかどうかを識別するタスクと, (ii) LLMを用いたスタンス検出のための意見マイニング駆動評価フレームワークについて述べる。
• 参考スコア（独自算出の注目度）: 0.03214166687856062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we develop an LLM-powered framework for the curation and evaluation of emerging opinion mining in online health communities. We formulate emerging opinion mining as a pairwise stance detection problem between (title, comment) pairs sourced from Reddit, where post titles contain emerging health-related claims on a topic that is not predefined. The claims are either explicitly or implicitly expressed by the user. We detail (i) a method of claim identification -- the task of identifying if a post title contains a claim and (ii) an opinion mining-driven evaluation framework for stance detection using LLMs. We facilitate our exploration by releasing a novel test dataset, Long COVID-Stance, or LC-stance, which can be used to evaluate LLMs on the tasks of claim identification and stance detection in online health communities. Long Covid is an emerging post-COVID disorder with uncertain and complex treatment guidelines, thus making it a suitable use case for our task. LC-Stance contains long COVID treatment related discourse sourced from a Reddit community. Our evaluation shows that GPT-4 significantly outperforms prior works on zero-shot stance detection. We then perform thorough LLM model diagnostics, identifying the role of claim type (i.e. implicit vs explicit claims) and comment length as sources of model error.
• Abstract（参考訳）: 本稿では,オンラインヘルスコミュニティにおける新たな意見マイニングのキュレーションと評価のための LLM を利用したフレームワークを開発する。 われわれは、Redditから得られた(タイトル、コメント)ペア間のペアのスタンス検出問題として、新興の意見マイニングを定式化しています。 クレームは明示的にあるいは暗黙的にユーザによって表現される。 詳細は (i)クレーム識別方法 --ポストタイトルがクレームを含んでいるかどうかを識別するタスクと (II) LLMを用いた姿勢検出のための意見マイニングによる評価フレームワーク。 我々は,新たな検査データセットであるLong COVID-Stance(LC-stance)をリリースすることによって,オンライン健康コミュニティにおける請求項の識別とスタンス検出のタスクにおいてLCMを評価することを可能にした。 長期間のcovid-19は、不確実で複雑な治療ガイドラインを持つ、新たなポスト共発性障害です。 LC-StanceはRedditコミュニティからの長い新型コロナウイルス治療に関する談話を含んでいる。 評価の結果, GPT-4 はゼロショット位置検出における先行作業よりも優れていた。 次に,詳細なllmモデル診断を行い,クレームタイプ(暗黙的あるいは明示的なクレーム)とコメント長をモデルエラーの原因として特定した。

関連論文リスト

• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とAIのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• Ranking Over Scoring: Towards Reliable and Robust Automated Evaluation of LLM-Generated Medical Explanatory Arguments [0.9543943371833467]
  本研究は, プロクシータスクとランキングに頼って, LLM生成医療説明論の新たな評価手法を提案する。 提案手法は,非議論的テキストの評価を含む,敵対的攻撃に対して頑健であることを示す。
  論文  参考訳（メタデータ） (2024-09-30T17:59:33Z)
• HealthQ: Unveiling Questioning Capabilities of LLM Chains in Healthcare Conversations [23.09755446991835]
  デジタル医療において、大きな言語モデル(LLM)は質問応答能力を高めるために主に利用されてきた。 本稿では,LLMヘルスケアチェーンの問合せ能力を評価するための新しいフレームワークであるHealthQを提案する。
  論文  参考訳（メタデータ） (2024-09-28T23:59:46Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
  RAGは大規模言語モデル(LLM)を強化するために広く採用されている。 分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。 本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:47:47Z)
• Tool Calling: Enhancing Medication Consultation via Retrieval-Augmented Large Language Models [10.04914417538886]
  大規模言語モデル(LLM)は、様々な言語タスクで顕著な成功を収めてきたが、幻覚や時間的ミスアライメントに悩まされている。 従来のtextitRetrieve-then-Read の代わりに,新しい textitDistill-Retrieve-Read フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-27T13:11:42Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)
• Retrieving Evidence from EHRs with LLMs: Possibilities and Challenges [18.56314471146199]
  時間的制約を伴って患者に関連付けられた大量のメモは、実質的に不可能な証拠を手作業で特定する。 患者EHRにおける非構造的証拠を効率よく回収・要約するためのメカニズムとして, LLMを用いたゼロショット戦略を提案し, 評価した。
  論文  参考訳（メタデータ） (2023-09-08T18:44:47Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Appraising the Potential Uses and Harms of LLMs for Medical Systematic Reviews [21.546144601311187]
  大規模言語モデル(LLM)は、必要に応じて文献レビューを自動的に生成する可能性がある。 LLMは幻覚や省略によって不正確な(そして潜在的に誤解を招く)テキストを生成することがある。
  論文  参考訳（メタデータ） (2023-05-19T17:09:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。