論文の概要: Detecting LLM-Generated Spam Reviews by Integrating Language Model Embeddings and Graph Neural Network
- arxiv url: http://arxiv.org/abs/2510.01801v1
- Date: Thu, 02 Oct 2025 08:42:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-03 16:59:21.063027
- Title: Detecting LLM-Generated Spam Reviews by Integrating Language Model Embeddings and Graph Neural Network
- Title（参考訳）: 言語モデル埋め込みとグラフニューラルネットワークの統合によるLLM生成スパムレビューの検出
- Authors: Xin Liu, Rongwu Xu, Xinyi Jia, Jason Liao, Jiao Sun, Ling Huang, Wei Xu,
- Abstract要約: 大規模言語モデル(LLM)は、人間の文章を忠実に模倣する非常に説得力のあるスパムレビューの生成を可能にした。
本研究では,事前学習言語モデルからのテキスト埋め込みと,スパムノード分類のためのゲートグラフ変換器を組み合わせたハイブリッド検出モデルであるFraudSquadを提案する。
実験の結果、FraudSquadは3つのLLM生成データセットで44.22%の精度と43.01%のリコールで最先端のベースラインを上回っている。
- 参考スコア（独自算出の注目度）: 18.876625195187966
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The rise of large language models (LLMs) has enabled the generation of highly persuasive spam reviews that closely mimic human writing. These reviews pose significant challenges for existing detection systems and threaten the credibility of online platforms. In this work, we first create three realistic LLM-generated spam review datasets using three distinct LLMs, each guided by product metadata and genuine reference reviews. Evaluations by GPT-4.1 confirm the high persuasion and deceptive potential of these reviews. To address this threat, we propose FraudSquad, a hybrid detection model that integrates text embeddings from a pre-trained language model with a gated graph transformer for spam node classification. FraudSquad captures both semantic and behavioral signals without relying on manual feature engineering or massive training resources. Experiments show that FraudSquad outperforms state-of-the-art baselines by up to 44.22% in precision and 43.01% in recall on three LLM-generated datasets, while also achieving promising results on two human-written spam datasets. Furthermore, FraudSquad maintains a modest model size and requires minimal labeled training data, making it a practical solution for real-world applications. Our contributions include new synthetic datasets, a practical detection framework, and empirical evidence highlighting the urgency of adapting spam detection to the LLM era. Our code and datasets are available at: https://anonymous.4open.science/r/FraudSquad-5389/.
- Abstract（参考訳）: 大規模言語モデル(LLM)の台頭は、人間の文章を忠実に模倣する非常に説得力のあるスパムレビューの生成を可能にした。
これらのレビューは、既存の検知システムに重大な課題をもたらし、オンラインプラットフォームの信頼性を脅かす。
本研究では、3つの異なるLCMを用いて、3つのリアルなLCM生成スパムレビューデータセットを作成し、それぞれが製品メタデータと真の参照レビューによってガイドされる。
GPT-4.1による評価は、これらのレビューの高い説得力と誤認の可能性を確認する。
この脅威に対処するために,事前学習された言語モデルからテキスト埋め込みと,スパムノード分類のためのゲートグラフ変換器を統合するハイブリッド検出モデルであるFraudSquadを提案する。
FraudSquadは、手動の機能エンジニアリングや大規模なトレーニングリソースに頼ることなく、セマンティック信号と行動信号の両方をキャプチャする。
実験の結果、FraudSquadは3つのLLM生成データセットで44.22%、リコール43.01%の精度で最先端のベースラインを上回り、2つの人書きスパムデータセットで有望な結果を達成している。
さらに、FraudSquadは控えめなモデルサイズを維持しており、ラベル付きトレーニングデータを最小限にする必要があるため、現実世界のアプリケーションには実用的なソリューションである。
我々の貢献には、新しい合成データセット、実用的な検出フレームワーク、LLM時代へのスパム検出の緊急性を強調した実証的証拠が含まれる。
私たちのコードとデータセットは、https://anonymous.4open.science/r/FraudSquad-5389/で利用可能です。
関連論文リスト
- Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
大規模言語モデル(LLM)は、労働集約的なタスクの自動化を可能にすることによって、社会科学の研究を急速に変革している。
LLMの出力は、研究者による実装選択によって大きく異なる。
このようなバリエーションは、下流の分析に伝播する系統的なバイアスやランダムなエラーを導入し、タイプI、タイプII、タイプS、タイプMのエラーを引き起こす。
論文 参考訳（メタデータ） (2025-09-10T17:58:53Z) - Backprompting: Leveraging Synthetic Production Data for Health Advice Guardrails [3.705307230188557]
ガードレール技術は、大きな言語モデルの入力/出力テキストを様々な検出器を通してフィルタリングすることで、このリスクを軽減することを目的としている。
本稿では、健康アドバイスガードレールの開発のために、プロダクションライクなラベル付きデータを生成するための、シンプルで直感的なバックプロンプティングを提案する。
我々の検出器は400倍のパラメータを持つにもかかわらず、GPT-4oを最大3.73%上回ることができる。
論文 参考訳（メタデータ） (2025-08-25T18:17:00Z) - Language Bottleneck Models: A Framework for Interpretable Knowledge Tracing and Beyond [55.984684518346924]
我々は、知識追跡を逆問題として再考する: 過去の回答を説明できる最小限の自然言語要約を学習し、将来の回答を予測できる。
我々のLanguage Bottleneck Model(LBM)は、解釈可能な知識要約を書くエンコーダLLMと、その要約テキストのみを使用して生徒の反応を再構成し予測しなければならないフリーズデコーダLLMで構成されている。
合成算術ベンチマークと大規模Eediデータセットの実験により、LBMは最先端のKT法と直接LLM法の精度に匹敵する一方で、受講者軌道のオーダーを少なくすることを示した。
論文 参考訳（メタデータ） (2025-06-20T13:21:14Z) - An Investigation of Large Language Models and Their Vulnerabilities in Spam Detection [7.550686419077825]
本稿では,スパムデータセットを微調整したLarge Language Models(LLM)を利用したスパム検出システムを提案する。
この実験には、GPT2とBERTの2つのLLMモデルと、Enron、LingSpam、SMSspamCollectionの3つのスパムデータセットが使用されている。
その結果, LLMモデルは, 効果的なスパムフィルタとして機能するが, 敵対的・データ中毒攻撃の影響を受けやすいことがわかった。
論文 参考訳（メタデータ） (2025-04-14T00:30:27Z) - Information-Guided Identification of Training Data Imprint in (Proprietary) Large Language Models [52.439289085318634]
情報誘導プローブを用いて,プロプライエタリな大規模言語モデル (LLM) で知られているトレーニングデータを識別する方法を示す。
我々の研究は、重要な観察の上に成り立っている: 高次数テキストパスは、暗記プローブにとって良い検索材料である。
論文 参考訳（メタデータ） (2025-03-15T10:19:15Z) - Evaluating LLM-based Personal Information Extraction and Countermeasures [63.91918057570824]
大規模言語モデル(LLM)に基づく個人情報抽出をベンチマークすることができる。
LLMは攻撃者によって誤用され、個人プロファイルから様々な個人情報を正確に抽出する。
プロンプトインジェクションは強力なLDMベースの攻撃に対して防御し、攻撃をより効果的でない従来の攻撃に還元する。
論文 参考訳（メタデータ） (2024-08-14T04:49:30Z) - PlagBench: Exploring the Duality of Large Language Models in Plagiarism Generation and Detection [26.191836276118696]
46.5Kの合成テキストペアのデータセットである textbfsf PlagBench を紹介する。
PlagBenchは、きめ細かい自動評価と人間のアノテーションを組み合わせることで検証される。
GPT-3.5 Turbo は GPT-4 Turbo と比較してテキストの複雑さを著しく増大させることなく高品質なパラフレーズや要約を生成できることを示す。
論文 参考訳（メタデータ） (2024-06-24T03:29:53Z) - SecureNet: A Comparative Study of DeBERTa and Large Language Models for Phishing Detection [0.0]
フィッシングは、ソーシャルエンジニアリングを使ってユーザーを騙して機密情報を明らかにすることで、組織にとって大きな脅威となる。
本稿では,Large Language Models (LLMs) の顕著な性能を,テキスト分類のような特定のタスクに活用できるかどうかを検討する。
LLMがいかにして説得力のあるフィッシングメールを生成するかを示し、詐欺を見つけるのを難しくする。
論文 参考訳（メタデータ） (2024-06-10T13:13:39Z) - ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
大型言語モデル (LLM) は人間の好むテキストを生成する。
本稿では,これらのモデルで共有される共通特性について述べる。
報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
論文 参考訳（メタデータ） (2024-05-27T17:38:33Z) - Evaluating Large Language Models for Health-Related Text Classification Tasks with Public Social Media Data [3.9459077974367833]
大規模言語モデル(LLM)は、NLPタスクにおいて顕著な成功を収めた。
我々は、サポートベクトルマシン(SVM)に基づく教師付き古典機械学習モデルと、RoBERTa、BERTweet、SocBERTに基づく3つの教師付き事前訓練言語モデル(PLM)と、6つのテキスト分類タスクで2つのLLMベースの分類器(GPT3.5、GPT4)をベンチマークした。
LLM(GPT-4)を用いた軽量教師付き分類モデルの訓練には,比較的小さな人手によるデータ拡張(GPT-4)が有効であることを示す総合的な実験を行った。
論文 参考訳（メタデータ） (2024-03-27T22:05:10Z) - LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。
テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。
研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文 参考訳（メタデータ） (2023-11-13T15:08:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。