論文の概要: RiskChainBench: A Benchmark for Obfuscated Platform Message Restoration and Evidence-Grounded Web Investigation
- arxiv url: http://arxiv.org/abs/2609.16900v2
- Date: Thu, 17 Sep 2026 16:55:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.438285
- Title: RiskChainBench: A Benchmark for Obfuscated Platform Message Restoration and Evidence-Grounded Web Investigation
- Title（参考訳）: RiskChainBench: 難解なプラットフォームメッセージ復元と証拠収集Web調査のためのベンチマーク
- Abstract要約: 我々は600のソースセッションから3,600の合成トークンテキスト復元入力と600の人間ラベル付きローカルWeb環境をペアリングするR RiskChainBenchを紹介した。
モデルが最初にメッセージ、運用意図、宛先を復元すると、同じ基盤となるモデルがVLM駆動のWebエージェントとして機能する。
また, 凍結した一次入射予測を同じタスク2の結果に対してゲートとして適用することにより, 別々に復元・修正ウェブ調査を行い, オフラインに構成する。
- 参考スコア（独自算出の注目度）: 32.78931752588511
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Platform abuse campaigns conceal redirection instructions with emojis, homophones, character decomposition, and redundant symbols, then route users through disguised links to services associated with pornography, fraud, gambling, or illicit transactions. Existing benchmarks evaluate obfuscated text and risky webpages separately, obscuring how target recovery affects downstream evidence acquisition. We introduce RiskChainBench, pairing 3,600 synthetic token-text restoration inputs from 600 source sessions with 600 corresponding human-labeled local web environments. A model first restores the message, operational intent, and destination; the same underlying model then acts as a VLM-driven web agent that investigates the correctly associated website and produces a frozen, evidence-cited risk report without message-side semantics or domain-reputation cues. We score restoration and correct-routing web investigation separately and compose them offline by applying the frozen primary-entry prediction as a gate to the same Task 2 result. Human labels determine task correctness, while a fixed multimodal evidence judge assesses faithfulness, sufficiency, completeness, and consistency. Across ten models, Entry Top-1 ranges from 35.2% to 95.2% and web decision accuracy from 26.3% to 62.8%; the leading systems differ across entry recovery, full reconstruction, website decisions, and fine-grained typing. Execution failures account for 31.9% of web runs, whereas post-decision type errors account for only 0.9%, identifying stable exploration and risk judgment as the principal bottlenecks. We release the benchmark, protocol, and resettable local sandbox.
- Abstract（参考訳）: プラットフォーム悪用キャンペーンは、絵文字、ホモフォン、文字分解、冗長なシンボルによるリダイレクト命令を隠蔽し、ポルノ、詐欺、ギャンブル、不正取引に関連するサービスへのリンクを偽装してユーザーを誘導する。
既存のベンチマークでは、不正なテキストとリスクのあるWebページを別々に評価し、ターゲットのリカバリが下流の証拠取得にどのように影響するかを確かめている。
我々は600のソースセッションから3,600の合成トークンテキスト復元入力と600の人間ラベル付きローカルWeb環境をペアリングするR RiskChainBenchを紹介した。
モデルが最初にメッセージ、運用意図、宛先を復元すると、同じモデルがVLM駆動のWebエージェントとして機能し、正しく関連付けられたWebサイトを調査し、メッセージサイドのセマンティクスやドメイン・リプット・キューを使わずに、凍結してエビデンスに刺激されたリスクレポートを生成する。
また, 凍結した一次入射予測を同じタスク2の結果に対してゲートとして適用することにより, 別々に復元・修正ウェブ調査を行い, オフラインに構成する。
人間のラベルはタスクの正しさを判断し、固定されたマルチモーダルな証拠は忠実さ、十分性、完全性、一貫性を評価する。
10種類のモデルで、エントリートップ1は35.2%から95.2%まで、ウェブ上の決定精度は26.3%から62.8%まで様々である。
実行障害はWebランの31.9%を占め、決定後のエラーはわずか0.9%であり、安定した探索とリスク判断が主要なボトルネックである。
ベンチマーク、プロトコル、リセット可能なローカルサンドボックスをリリースします。
関連論文リスト
- AtomCite: Verification and Correction of Supplied Page-Level Citations in Multi-Page Documents [21.842813905857863]
AtomCiteは、回答をクレームに解析し、引用されたページのイメージに対して各クレームをチェックし、決定論的修復ポリシーを適用します。
インジェクションされたベンチマークでは、約93%のバイナリ検証精度に達し、OCRのみの条件ではかなり上回っている。
その修理方針は、正しいクレームの90%以上を保持しながら、34%から87-90%までの混合液の引用精度を引き上げている。
論文 参考訳（メタデータ） (2026-09-05T01:31:50Z) - SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。
操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。
SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
論文 参考訳（メタデータ） (2026-08-31T03:39:43Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - A Hybrid, Multi-Layered Pipeline for Phishing and Threat Classification: Independently Validated URL and NLP Engines with a Calibrated Multi-Channel Fusion Stage [0.0]
それぞれのモータリティを自作のエンジンでスコアリングし、結果を融合するハイブリッドパイプラインを提案する。
3基のエンジンがビルドされ、デプロイされ、独立してベンチマークされる。
デプロイ可能な検出のために、制限要因はモデルをいかに一般化するかである。
論文 参考訳（メタデータ） (2026-06-19T18:59:36Z) - FraudSMSWalker: Benchmarking Agentic Large Language Models for SMS-to-Webpage Fraud Detection [0.0]
FraudSMSWalker(フラッドSMSワーカー)は、URL入力されたSMSページ間の不正判断のベンチマークである。
これには699のバイリンガルチェーンが含まれており、そのうち332の不正と367の良性ケースが10のサービスシナリオにまたがっている。
その結果、現在のエージェントは疑わしい手がかりを検出できるが、良心的リコールの保存に苦慮し、しばしば肯定的な予測をもたらすことが判明した。
論文 参考訳（メタデータ） (2026-06-15T12:53:55Z) - Hallucination as Exploit: Evidence-Carrying Multimodal Agents [10.441697487723568]
マルチモーダルエージェントはますます、スクリーンショットやドキュメント、Webページからツールコールを選択している。
本稿では,自由形式モデルテキストを不許容な証拠として扱うエビデンス搬送型マルチモーダルエージェント(ECA)を提案する。
ECAは不透明なモデルの信念を検証者、スキーマ、実装レベルで監査可能な残留物に変換する。
論文 参考訳（メタデータ） (2026-05-18T23:40:43Z) - AgentTrust: Runtime Safety Evaluation and Interception for AI Agent Tool Use [2.9991161518367875]
AgentTrustは実行前にエージェントツールコールをインターセプトし、構造化されたバリデーションを返す。
6つのリスクカテゴリにまたがる300-scenarioベンチマークと、630が独立して構築された現実世界の敵シナリオです。
パッチされたルールセットで評価された630秒のベンチマークでは、AgentTrustは96.7%の精度を達成している。
論文 参考訳（メタデータ） (2026-05-06T11:38:16Z) - RoguePrompt: Dual-Layer Ciphering for Self-Reconstruction to Circumvent LLM Moderation [0.0]
本稿では,不正なユーザクエリを自己再構成プロンプトに変換する自動ジェイルブレイク攻撃を提案する。
GPT 4oに対してRoguePromptをインスタンス化し、2 448で評価すると、以前は強く拒否されていた生産モデレーションシステムであることが示唆される。
3つのセキュリティ関連の結果のバイパス、再構築、実行を分離する評価プロトコルの下で、攻撃は84.7%のバイパス、80.2%の再構築、および71.5パーセントの完全な実行を達成した。
論文 参考訳（メタデータ） (2025-11-24T05:42:54Z) - BrowserArena: Evaluating LLM Agents on Real-World Web Navigation Tasks [51.803138848305814]
我々はBrowserArenaを紹介した。BrowserArenaは、ユーザから送信されたタスクを収集するオープンソースのエージェント評価プラットフォームである。
Captcha解決、ポップアップバナー削除、URLへのダイレクトナビゲーションの3つの一貫した障害モードを特定します。
本研究は,Webエージェントの多様性と脆性の両方を明らかにする。
論文 参考訳（メタデータ） (2025-10-02T15:22:21Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。