論文の概要: Catch Me If You Can: Identifying Fraudulent Physician Reviews with Large Language Models Using Generative Pre-Trained Transformers

• arxiv url: http://arxiv.org/abs/2304.09948v1
• Date: Wed, 19 Apr 2023 19:59:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 15:16:31.441275
• Title: Catch Me If You Can: Identifying Fraudulent Physician Reviews with Large Language Models Using Generative Pre-Trained Transformers
• Title（参考訳）: 大量言語モデルによる不正な医師のレビューの特定 - 生成的事前学習トランスフォーマーによる検討
• Authors: Aishwarya Deep Shukla, Laksh Agarwal, Jie Mein (JM) Goh, Guodong (Gordon) Gao, Ritu Agarwal
• Abstract要約: 医師の偽レビューの拡散は、患者の健康にとって有害な結果をもたらす可能性がある。 本研究は,38048名の医師レビューの事前ラベル付きデータセットを用いて,レビューの分類における大規模言語モデルの有効性を確立する。
• 参考スコア（独自算出の注目度）: 1.0499611180329804
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The proliferation of fake reviews of doctors has potentially detrimental consequences for patient well-being and has prompted concern among consumer protection groups and regulatory bodies. Yet despite significant advancements in the fields of machine learning and natural language processing, there remains limited comprehension of the characteristics differentiating fraudulent from authentic reviews. This study utilizes a novel pre-labeled dataset of 38048 physician reviews to establish the effectiveness of large language models in classifying reviews. Specifically, we compare the performance of traditional ML models, such as logistic regression and support vector machines, to generative pre-trained transformer models. Furthermore, we use GPT4, the newest model in the GPT family, to uncover the key dimensions along which fake and genuine physician reviews differ. Our findings reveal significantly superior performance of GPT-3 over traditional ML models in this context. Additionally, our analysis suggests that GPT3 requires a smaller training sample than traditional models, suggesting its appropriateness for tasks with scarce training data. Moreover, the superiority of GPT3 performance increases in the cold start context i.e., when there are no prior reviews of a doctor. Finally, we employ GPT4 to reveal the crucial dimensions that distinguish fake physician reviews. In sharp contrast to previous findings in the literature that were obtained using simulated data, our findings from a real-world dataset show that fake reviews are generally more clinically detailed, more reserved in sentiment, and have better structure and grammar than authentic ones.
• Abstract（参考訳）: 医師の偽レビューの急増は患者の幸福を損なう可能性があり、消費者保護団体や規制団体の間で懸念が高まっている。 しかし、機械学習と自然言語処理の分野における著しい進歩にもかかわらず、偽レビューと偽レビューを区別する特徴の理解は限られている。 本研究は、38048名の医師レビューの新たなデータセットを用いて、レビュー分類における大規模言語モデルの有効性を確立した。 具体的には、ロジスティック回帰やサポートベクタマシンなどの従来のMLモデルと、生成事前学習型トランスモデルの比較を行う。 さらに, GPTファミリーの最新のモデルである GPT4 を用いて, 偽の医師レビューと本物の医師レビューの相違点を明らかにする。 本研究により,従来のMLモデルよりもGPT-3の方が優れた性能を示した。 さらに,本分析の結果から,GPT3は従来のモデルよりも少ないトレーニングサンプルを必要とすることが示唆された。 さらに、GPT3の性能は、冷戦開始の文脈、すなわち、医師の事前のレビューがない場合に向上する。 最後に,偽医師レビューを識別する重要な側面を明らかにするために,GPT4を用いた。 シミュレーションデータを用いて得られた文献と対照的に,実世界のデータセットでは,偽レビューは概して臨床的に詳細であり,感情に留意され,真性よりも構造や文法が優れていることが示唆された。

関連論文リスト

• High-Throughput Phenotyping of Clinical Text Using Large Language Models [0.0]
  GPT-4はGPT-3.5-Turboを上回り、識別、分類、正規化を行う。 GPT-4は複数の表現型タスクにまたがって高い性能と一般化性をもたらす。
  論文  参考訳（メタデータ） (2024-08-02T12:00:00Z)
• Optimal path for Biomedical Text Summarization Using Pointer GPT [21.919661430250798]
  GPTモデルは、事実の誤りを発生させ、文脈を欠き、言葉を単純化する傾向にある。 これらの制約に対処するため、GPTモデルの注意機構をポインタネットワークに置き換えた。 ROUGEスコアを用いてポインター-GPTモデルの有効性を評価した。
  論文  参考訳（メタデータ） (2024-03-22T02:13:23Z)
• DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models [92.6951708781736]
  本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。 GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。 我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
  論文  参考訳（メタデータ） (2023-06-20T17:24:23Z)
• An Empirical Analysis of Parameter-Efficient Methods for Debiasing Pre-Trained Language Models [55.14405248920852]
  各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。 パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。 また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
  論文  参考訳（メタデータ） (2023-06-06T23:56:18Z)
• HuatuoGPT, towards Taming Language Model to Be a Doctor [67.96794664218318]
  HuatuoGPTは医療相談のための大規模言語モデル(LLM)である。 我々は,ChatGPTのテクティット蒸留データと,教師付き微調整段階の医師のテクティトゥルワールドデータの両方を活用する。
  論文  参考訳（メタデータ） (2023-05-24T11:56:01Z)
• Automated Medical Coding on MIMIC-III and MIMIC-IV: A Critical Review and Replicability Study [60.56194508762205]
  我々は、最先端の医療自動化機械学習モデルを再現し、比較し、分析する。 その結果, 弱い構成, サンプル化の不十分さ, 評価の不十分さなどにより, いくつかのモデルの性能が低下していることが判明した。 再生モデルを用いたMIMIC-IVデータセットの総合評価を行った。
  論文  参考訳（メタデータ） (2023-04-21T11:54:44Z)
• Do We Still Need Clinical Language Models? [15.023633270864675]
  比較的小さな専門的な臨床モデルでは、コンテキスト内学習のアプローチが大幅に優れていることを示す。 physioNet Credentialed Health Dataライセンスとデータ使用契約の下で使用されるコードとモデルをリリースします。
  論文  参考訳（メタデータ） (2023-02-16T05:08:34Z)
• Textual Data Augmentation for Patient Outcomes Prediction [67.72545656557858]
  本稿では,患者の電子カルテに人工的な臨床ノートを作成するための新しいデータ拡張手法を提案する。 生成言語モデルGPT-2を微調整し、ラベル付きテキストを元のトレーニングデータで合成する。 今回,最も多い患者,すなわち30日間の寛解率について検討した。
  論文  参考訳（メタデータ） (2022-11-13T01:07:23Z)
• News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
  GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。 我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
  論文  参考訳（メタデータ） (2022-09-26T01:04:52Z)
• Thinking about GPT-3 In-Context Learning for Biomedical IE? Think Again [24.150464908060112]
  本研究は,GPT-3のテキスト内学習を小型(BERTサイズ)PLMと比較した最初の体系的,包括的研究である。 以上の結果から, GPT-3 は, 小型 PLM の微調整に比べてまだ性能が劣っていることが示唆された。
  論文  参考訳（メタデータ） (2022-03-16T05:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。