論文の概要: Fraud-R1 : A Multi-Round Benchmark for Assessing the Robustness of LLM Against Augmented Fraud and Phishing Inducements

• arxiv url: http://arxiv.org/abs/2502.12904v1
• Date: Tue, 18 Feb 2025 14:47:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:02:44.421584
• Title: Fraud-R1 : A Multi-Round Benchmark for Assessing the Robustness of LLM Against Augmented Fraud and Phishing Inducements
• Title（参考訳）: Fraud-R1 : 加重フラッドとフィッシング誘導に対するLLMのロバスト性評価のためのマルチラウンドベンチマーク
• Authors: Shu Yang, Shenzhe Zhu, Zeyu Wu, Keyu Wang, Junchi Yao, Junchao Wu, Lijie Hu, Mengdi Li, Derek F. Wong, Di Wang,
• Abstract要約: Fraud-R1は、フィッシング詐欺、偽の求人投稿、ソーシャルメディア、ニュースから発生した8,564件の詐欺事件を5つの主要な詐欺タイプに分類する。 以前のベンチマークとは異なり、Fraud-R1はLLMの不正に対する耐性を異なる段階で評価するためのマルチラウンド評価パイプラインを導入している。 評価の結果,詐欺やフィッシングの誘因を擁護する上で,特にロールプレイ設定や偽職投稿において重要な課題が明らかとなった。
• 参考スコア（独自算出の注目度）: 23.99500412996251
• License:
• Abstract: We introduce Fraud-R1, a benchmark designed to evaluate LLMs' ability to defend against internet fraud and phishing in dynamic, real-world scenarios. Fraud-R1 comprises 8,564 fraud cases sourced from phishing scams, fake job postings, social media, and news, categorized into 5 major fraud types. Unlike previous benchmarks, Fraud-R1 introduces a multi-round evaluation pipeline to assess LLMs' resistance to fraud at different stages, including credibility building, urgency creation, and emotional manipulation. Furthermore, we evaluate 15 LLMs under two settings: 1. Helpful-Assistant, where the LLM provides general decision-making assistance, and 2. Role-play, where the model assumes a specific persona, widely used in real-world agent-based interactions. Our evaluation reveals the significant challenges in defending against fraud and phishing inducement, especially in role-play settings and fake job postings. Additionally, we observe a substantial performance gap between Chinese and English, underscoring the need for improved multilingual fraud detection capabilities.
• Abstract（参考訳）: このベンチマークは、LLMがインターネット詐欺やフィッシングを防ぎ、動的で現実世界のシナリオでフィッシングする能力を評価するために設計された。 Fraud-R1は、フィッシング詐欺、偽の求人投稿、ソーシャルメディア、ニュースから発生した8,564件の詐欺事件を5つの主要な詐欺タイプに分類する。 以前のベンチマークとは異なり、Fraud-R1は複数のラウンド評価パイプラインを導入し、信頼性ビルディング、緊急生成、感情操作など、さまざまな段階でLLMの不正に対する抵抗を評価する。 さらに,15個のLDMを2つの設定で評価する。 1. LLM が一般意思決定支援を行う支援支援及び支援 2. モデルが特定のペルソナを仮定するロールプレイは、現実世界のエージェントベースのインタラクションで広く利用されている。 評価の結果,詐欺やフィッシングの誘因,特にロールプレイ設定や偽の求職における重要な課題が明らかになった。 さらに、中国語と英語のパフォーマンスギャップが著しくなり、多言語不正検出機能の改善の必要性が強調される。

関連論文リスト

• Distinguishing Scams and Fraud with Ensemble Learning [0.8192907805418583]
  消費者金融保護局の苦情データベースは、ユーザ詐欺クエリにおけるLCMのパフォーマンスを評価するための豊富なデータソースである。 我々は詐欺やCFPBの苦情を識別するためのアンサンブルアプローチを開発した。
  論文  参考訳（メタデータ） (2024-12-11T18:07:18Z)
• Exposing LLM Vulnerabilities: Adversarial Scam Detection and Performance [16.9071617169937]
  本稿では, 大規模言語モデル (LLM) の脆弱性を, 詐欺検出のタスクに対して対向詐欺メッセージに直面する際の脆弱性について検討する。 我々は、オリジナルメッセージと逆詐欺メッセージの両方を含む、きめ細かいスカムメッセージのラベル付き包括的なデータセットを作成しました。 分析の結果, LLMの脆弱性を利用した逆例は, 高い誤分類率をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-12-01T00:13:28Z)
• Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
  LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。 本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-11-21T08:20:31Z)
• Evaluating Cultural and Social Awareness of LLM Web Agents [113.49968423990616]
  CASAは,大規模言語モデルの文化的・社会的規範に対する感受性を評価するためのベンチマークである。 提案手法は,標準に違反するユーザクエリや観察を検知し,適切に応答するLLMエージェントの能力を評価する。 実験により、現在のLLMは非エージェント環境で大幅に性能が向上していることが示された。
  論文  参考訳（メタデータ） (2024-10-30T17:35:44Z)
• Can LLMs be Scammed? A Baseline Measurement Study [0.0873811641236639]
  様々な詐欺戦術に対するLarge Language Models(LLMs)の脆弱性を体系的に評価する。 まず、FINRA分類で同定された多様な詐欺カテゴリーを反映した37の明確に定義されたベース詐欺シナリオを組み込んだ。 第2に、汎用プロプライエタリ(GPT-3.5, GPT-4)とオープンソース(Llama)モデルを用いて、スカム検出における性能を解析する。 第三に、我々の研究は、詐欺戦術がLSMに対して最も効果的であるか、そして様々なペルソナの特徴や説得技術がこれらの脆弱性にどのように影響するかについての批判的な洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-14T05:22:27Z)
• DetoxBench: Benchmarking Large Language Models for Multitask Fraud & Abuse Detection [15.933013428603152]
  大規模言語モデル(LLM)は自然言語処理タスクにおいて顕著な能力を示した。 不正で虐待的な言語を識別・緩和する上で,LLMの性能を評価するためのベンチマークスイートを提案する。
  論文  参考訳（メタデータ） (2024-09-09T21:12:03Z)
• MultiTrust: A Comprehensive Benchmark Towards Trustworthy Multimodal Large Language Models [51.19622266249408]
  MultiTrustはMLLMの信頼性に関する最初の総合的で統一されたベンチマークである。 我々のベンチマークでは、マルチモーダルリスクとクロスモーダルインパクトの両方に対処する厳格な評価戦略を採用している。 21の近代MLLMによる大規模な実験は、これまで調査されなかった信頼性の問題とリスクを明らかにしている。
  論文  参考訳（メタデータ） (2024-06-11T08:38:13Z)
• Multimodal Large Language Models to Support Real-World Fact-Checking [80.41047725487645]
  MLLM(Multimodal large language model)は、膨大な情報処理において人間を支援する能力を持つ。 MLLMはすでにファクトチェックツールとして使用されていますが、その能力や制限については検討中です。 本稿では,現実のファクトチェックを容易にするために,現在のマルチモーダルモデルの能力を体系的に評価するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-06T11:32:41Z)
• Detecting Scams Using Large Language Models [19.7220607313348]
  大規模言語モデル(LLM)は、セキュリティなど、様々なアプリケーションで注目を集めている。 本稿では,サイバーセキュリティの重要な側面である詐欺検知におけるLCMの有用性について検討する。 フィッシング、前払い詐欺、ロマンス詐欺などの詐欺を識別するためのLLMの新しいユースケースを提案する。
  論文  参考訳（メタデータ） (2024-02-05T16:13:54Z)
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
  従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。 これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。 言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
  論文  参考訳（メタデータ） (2023-06-22T17:31:44Z)
• Safety Assessment of Chinese Large Language Models [51.83369778259149]
  大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。 安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
  論文  参考訳（メタデータ） (2023-04-20T16:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。