論文の概要: Scope of Large Language Models for Mining Emerging Opinions in Online
Health Discourse
- arxiv url: http://arxiv.org/abs/2403.03336v1
- Date: Tue, 5 Mar 2024 21:38:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 16:41:13.156050
- Title: Scope of Large Language Models for Mining Emerging Opinions in Online
Health Discourse
- Title(参考訳): オンライン健康談話における新たな意見のマイニングのための大規模言語モデルの範囲
- Authors: Joseph Gatto, Madhusudan Basak, Yash Srivastava, Philip Bohlman, Sarah
M. Preum
- Abstract要約: 我々は、Redditから得られた(タイトル、コメント)ペア間のペアのスタンス検出問題として、新興の意見マイニングを定式化します。
i) クレーム識別の手法について詳述し, ポストタイトルがクレームを含むかどうかを識別するタスクと, (ii) LLMを用いたスタンス検出のための意見マイニング駆動評価フレームワークについて述べる。
- 参考スコア(独自算出の注目度): 0.03214166687856062
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we develop an LLM-powered framework for the curation and
evaluation of emerging opinion mining in online health communities. We
formulate emerging opinion mining as a pairwise stance detection problem
between (title, comment) pairs sourced from Reddit, where post titles contain
emerging health-related claims on a topic that is not predefined. The claims
are either explicitly or implicitly expressed by the user. We detail (i) a
method of claim identification -- the task of identifying if a post title
contains a claim and (ii) an opinion mining-driven evaluation framework for
stance detection using LLMs.
We facilitate our exploration by releasing a novel test dataset, Long
COVID-Stance, or LC-stance, which can be used to evaluate LLMs on the tasks of
claim identification and stance detection in online health communities. Long
Covid is an emerging post-COVID disorder with uncertain and complex treatment
guidelines, thus making it a suitable use case for our task. LC-Stance contains
long COVID treatment related discourse sourced from a Reddit community. Our
evaluation shows that GPT-4 significantly outperforms prior works on zero-shot
stance detection. We then perform thorough LLM model diagnostics, identifying
the role of claim type (i.e. implicit vs explicit claims) and comment length as
sources of model error.
- Abstract(参考訳): 本稿では,オンラインヘルスコミュニティにおける新たな意見マイニングのキュレーションと評価のための LLM を利用したフレームワークを開発する。
われわれは、Redditから得られた(タイトル、コメント)ペア間のペアのスタンス検出問題として、新興の意見マイニングを定式化しています。
クレームは明示的にあるいは暗黙的にユーザによって表現される。
詳細は
(i)クレーム識別方法 --ポストタイトルがクレームを含んでいるかどうかを識別するタスクと
(II) LLMを用いた姿勢検出のための意見マイニングによる評価フレームワーク。
我々は,新たな検査データセットであるLong COVID-Stance(LC-stance)をリリースすることによって,オンライン健康コミュニティにおける請求項の識別とスタンス検出のタスクにおいてLCMを評価することを可能にした。
長期間のcovid-19は、不確実で複雑な治療ガイドラインを持つ、新たなポスト共発性障害です。
LC-StanceはRedditコミュニティからの長い新型コロナウイルス治療に関する談話を含んでいる。
評価の結果, GPT-4 はゼロショット位置検出における先行作業よりも優れていた。
次に,詳細なllmモデル診断を行い,クレームタイプ(暗黙的あるいは明示的なクレーム)とコメント長をモデルエラーの原因として特定した。
関連論文リスト
- Tool Calling: Enhancing Medication Consultation via Retrieval-Augmented Large Language Models [10.04914417538886]
大規模言語モデル(LLM)は、様々な言語タスクで顕著な成功を収めてきたが、幻覚や時間的ミスアライメントに悩まされている。
従来のtextitRetrieve-then-Read の代わりに,新しい textitDistill-Retrieve-Read フレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-27T13:11:42Z) - FACT-GPT: Fact-Checking Augmentation via Claim Matching with LLMs [11.323961700172175]
FACT-GPTは、以前の主張と一致し、矛盾し、あるいは無関係であるソーシャルメディアコンテンツを識別する。
評価の結果,LLMは大規模モデルの精度に適合し,関連するクレームを識別できることがわかった。
論文 参考訳(メタデータ) (2024-02-08T18:43:05Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [52.513957834345746]
FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。
FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。
Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
論文 参考訳(メタデータ) (2023-10-18T16:27:49Z) - A New Benchmark and Reverse Validation Method for Passage-level
Hallucination Detection [63.56136319976554]
大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。
本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。
提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
論文 参考訳(メタデータ) (2023-10-10T10:14:59Z) - Retrieving Evidence from EHRs with LLMs: Possibilities and Challenges [19.494006980465404]
時間的制約を伴って患者に関連付けられた大量のメモは、実質的に不可能な証拠を手作業で特定する。
患者EHRにおける非構造的証拠を効率よく回収・要約するためのメカニズムとして, LLMを用いたゼロショット戦略を提案し, 評価した。
論文 参考訳(メタデータ) (2023-09-08T18:44:47Z) - Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。
我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。
RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
論文 参考訳(メタデータ) (2023-09-04T08:28:44Z) - CohortGPT: An Enhanced GPT for Participant Recruitment in Clinical Study [17.96401880059829]
ChatGPTのような大規模言語モデル(LLM)は、様々な下流タスクで大きな成功を収めています。
我々は,知識グラフを補助情報として,予測を行う際のLCMを導くことを提案する。
本手法は, 微調整手法と比較して, 良好な性能が得られる。
論文 参考訳(メタデータ) (2023-07-21T04:43:00Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - Appraising the Potential Uses and Harms of LLMs for Medical Systematic
Reviews [21.546144601311187]
大規模言語モデル(LLM)は、必要に応じて文献レビューを自動的に生成する可能性がある。
LLMは幻覚や省略によって不正確な(そして潜在的に誤解を招く)テキストを生成することがある。
論文 参考訳(メタデータ) (2023-05-19T17:09:19Z) - Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in
Partially Observed Markov Decision Processes [65.91730154730905]
医療や教育などの観察データへのオフライン強化学習の適用においては、観察された行動は観測されていない要因に影響される可能性があるという一般的な懸念がある。
ここでは、部分的に観察されたマルコフ決定過程(POMDP)における非政治評価を考慮し、この問題に取り組む。
我々は、近位因果推論の枠組みをPOMDP設定に拡張し、識別が可能となる様々な設定を提供する。
論文 参考訳(メタデータ) (2021-10-28T17:46:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。