論文の概要: FraudSMSWalker: Benchmarking Agentic Large Language Models for SMS-to-Webpage Fraud Detection

• arxiv url: http://arxiv.org/abs/2606.16659v1
• Date: Mon, 15 Jun 2026 12:53:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.561475
• Title: FraudSMSWalker: Benchmarking Agentic Large Language Models for SMS-to-Webpage Fraud Detection
• Title（参考訳）: FraudSMSWalker:SMS-to-Webpage Fraud検出のためのエージェント型大規模言語モデルのベンチマーク
• Authors: Y. H. Zhou, Z. M. Ma, Y. J. Zhou, Y. T. Li, H. X. Xiang, Y. M. Cheng, T. L. Chen, K. J. Zhang, Z. H. Nan, J. H. Ni, Z. Wu, Q. Y. Pan, S. Zhang, S. Cheng, M. Y. Luo,
• Abstract要約: FraudSMSWalker(フラッドSMSワーカー)は、URL入力されたSMSページ間の不正判断のベンチマークである。 これには699のバイリンガルチェーンが含まれており、そのうち332の不正と367の良性ケースが10のサービスシナリオにまたがっている。 その結果、現在のエージェントは疑わしい手がかりを検出できるが、良心的リコールの保存に苦慮し、しばしば肯定的な予測をもたらすことが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: SMS fraud is increasingly cross-channel: a message directs the user to a webpage, and the final risk depends on how the SMS claim aligns with the page content and requested user action. However, existing evaluations either focus on message-only smishing classification or expose URL and domain cues that allow models to rely on reputation shortcuts. To address this gap, we introduce \textbf{FraudSMSWalker}, a controlled benchmark for URL-masked SMS-to-webpage fraud judgment. FraudSMSWalker contains 699 bilingual chains, including 332 fraudulent and 367 benign cases, across ten service scenarios. The model-visible input consists of the SMS context and sanitized webpage evidence, while raw URLs, hosts, domains, IPs, redirects, and reputation metadata are withheld. The benchmark further includes hard benign cases whose pages contain login, payment, verification, or account-management elements that are plausible under the service context but also appear in scam flows. We evaluate nine web agents under masked browser-agent protocols and conduct URL-visibility ablations. The results show that current agents can detect suspicious cues, but struggle to preserve benign recall and often produce positive predictions that are weakly supported by the observed evidence. These findings position FraudSMSWalker as a benchmark for measuring whether web agents can make fraud judgments that remain both accurate and evidence-grounded when direct reputation shortcuts are suppressed. The associated code and dataset are accessible at the \href{https://anonymous.4open.science/w/FraudMessageWalker-Bench}{anonymous link}.
• Abstract（参考訳）: メッセージはユーザーをウェブページに誘導し、最終的なリスクは、SMSのクレームがページの内容と要求されたユーザーアクションとどのように一致しているかに依存する。 しかし、既存の評価は、メッセージのみのスマイッシング分類に焦点を当てるか、モデルが評判のショートカットに依存することができるURLとドメインのキューを公開する。 このギャップに対処するために、URLにマッチしたSMS-to-webページ不正判定のための制御されたベンチマークである \textbf{FraudSMSWalker} を導入する。 FraudSMSWalkerには699のバイリンガルチェーンがあり、そのうち332の不正と367の良性ケースが10のサービスシナリオにまたがっている。 モデルビジュアブルな入力はSMSコンテキストとサニタイズされたWebページエビデンスで構成され、生のURL、ホスト、ドメイン、IP、リダイレクト、評判メタデータは保持されない。 ベンチマークには、ログイン、支払い、検証、アカウント管理要素を含むハードベネフィットなケースも含まれている。 マスク付きブラウザエージェントプロトコル下で9つのWebエージェントを評価し,URL可視化を行う。 その結果、現在のエージェントは疑わしい手がかりを検出できるが、良心的リコールの保存に苦慮し、しばしば観察された証拠によって弱く支持される肯定的な予測を導出することが示された。 これらの結果から、FraudSMSWalkerは、Webエージェントが直接の評判のショートカットを抑える際に、正確かつ証拠が根拠として残る不正判断をすることができるかどうかを測定するためのベンチマークとして位置づけられている。 関連するコードとデータセットは、 \href{https://anonymous.4open.science/w/FraudMessageWalker-Bench}{anonymous link}でアクセスできる。

関連論文リスト

• Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents [93.19140872946842]
  大規模言語モデル(LLM)によって駆動されるWebエージェントは、現実の環境にますますデプロイされる。 これにより、一見良質なコンテンツがエージェントの振る舞いを操作する敵の命令を埋め込む、プロンプト・インジェクション・アタックに対して脆弱になる。 実世界のWebエージェントシステムにおいて,損害を体系的に分類し,属性付けするベンチマークである textbfsysname を導入する。
  論文  参考訳（メタデータ） (2026-06-11T14:12:43Z)
• The Granularity Mismatch in Agent Security: Argument-Level Provenance Solves Enforcement and Isolates the LLM Reasoning Bottleneck [18.14752683836217]
  textscPACTは、ツール引数にセマンティックロールを割り当てるランタイムモニタである。 textscPACTはエージェントセキュリティを権限バインディングとして再設定する。
  論文  参考訳（メタデータ） (2026-05-11T04:09:11Z)
• TraceScope: Interactive URL Triage via Decoupled Checklist Adjudication [14.375064108289115]
  私たちは、このワークフローを大規模に運用する、分離されたトリアージパイプラインであるTraceScopeを紹介します。 サンドボックス操作エージェントは、オブザーバ効果を防止し、安全性を確保するため、ページ動作を誘発する視覚的モチベーションによってガイドされた実際のGUIブラウザを駆動する。 MITRE ATT&CKチェックリストを検証するために要求の証拠を照会し、妥協の指標(IOC)を抽出した監査可読レポートを生成する。 我々の評価によると、TraceScopeは現実世界のシナリオでも優れた性能を示し、最先端の防御が特定できない高度なフィッシングの試みをうまく検出する。
  論文  参考訳（メタデータ） (2026-04-23T16:31:42Z)
• MalURLBench: A Benchmark Evaluating Agents' Vulnerabilities When Processing Web URLs [16.403811916501077]
  悪意のあるURLに対するWebエージェントの脆弱性を評価する最初のベンチマークであるMalURLBenchを提案する。 MalURLBenchには、実際の10のシナリオにまたがる61,845の攻撃インスタンスと、実際の悪意のあるWebサイトの7つのカテゴリが含まれている。 12の人気のあるLCMを使った実験によると、既存のモデルは、精巧に偽装された悪意のあるURLを検出するのに苦労している。
  論文  参考訳（メタデータ） (2026-01-26T03:58:10Z)
• Benchmarking MLLM-based Web Understanding: Reasoning, Robustness and Safety [9.588706798051955]
  マルチモーダルな大規模言語モデル(MLLM)は、複雑なWeb関連アプリケーションを構築するためのAIコラボレータとしてますます位置づけられている。 我々は、WebRSSBenchと呼ばれる総合的なWeb理解ベンチマークを導入し、8つのタスクでReasoning, Robustness, Safetyを共同で評価する。 このベンチマークは729のウェブサイトから構築され、3799の質問応答ペアが含まれており、ページ構造、テキスト、ウィジェット、安全クリティカルな相互作用に関する多段階の推論を探索している。
  論文  参考訳（メタデータ） (2025-09-26T02:38:14Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• Robust and Verifiable Information Embedding Attacks to Deep Neural Networks via Error-Correcting Codes [81.85509264573948]
  ディープラーニングの時代、ユーザは、サードパーティの機械学習ツールを使用して、ディープニューラルネットワーク(DNN)分類器をトレーニングすることが多い。 情報埋め込み攻撃では、攻撃者は悪意のあるサードパーティの機械学習ツールを提供する。 本研究では,一般的なポストプロセッシング手法に対して検証可能で堅牢な情報埋め込み攻撃を設計することを目的とする。
  論文  参考訳（メタデータ） (2020-10-26T17:42:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。