論文の概要: CredLeakBench: Evaluating Credential Leakage and Recovery in LLM Agents

• arxiv url: http://arxiv.org/abs/2610.08871v1
• Date: Tue, 06 Oct 2026 05:07:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.520583
• Title: CredLeakBench: Evaluating Credential Leakage and Recovery in LLM Agents
• Title（参考訳）: CredLeakBench: LLM剤のしきい値漏洩と回復の評価
• Abstract要約: 言語モデルエージェントは日々のデジタル雑用を自動化するためにますますデプロイされている。 この機能は、フィッシングに機密情報を公開する。 CredLeak-Benchは、ヒューマンタスクの効果的かつセキュアなエージェントの自動化を評価するために設計されたベンチマークである。
• 参考スコア（独自算出の注目度）: 58.28055202832338
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language model agents are increasingly deployed to automate everyday digital chores from managing emails and social media to handling banking and bills allowing users to step away from supervision. However, this capability also exposes sensitive information to phishing. Safe execution requires distinguishing malicious requests from genuine ones without simply refusing to act. Despite its practical importance, this problem remains underexplored and it is unclear whether current agents or existing defenses can achieve it. To study this problem, we first propose CredLeak-Bench, a comprehensive benchmark designed to evaluate how effectively and securely agents automate human workflows when confronted with phishing and identity verification. The benchmark covers both user-directed authentication and autonomous inbox monitoring, where agents are not explicitly instructed to log in. It systematically varies deceptive cues and pairs phishing scenarios with legitimate counterparts, enabling joint evaluation of information leakage and utility on genuine tasks. Within a sandboxed environment, leakage is measured through actual submissions of information rather than agents' self-reported behavior. Our evaluation reveals that all tested models are vulnerable to leakage. Agents also disclose sensitive information during autonomous inbox monitoring, demonstrating that phishing can induce disclosure without a user request to authenticate. Furthermore, most evaluated mitigations that reduce leakage also impair performance on genuine tasks, exposing a security utility trade off in existing defenses. These findings show why reducing leakage alone is insufficient: effective defenses must prevent unauthorized disclosure while preserving legitimate task completion. CredLeak-Bench provides a controlled framework for measuring both objectives and evaluating progress toward secure, useful agents.
• Abstract（参考訳）: 言語モデルエージェントは、メールやソーシャルメディアの管理から、銀行や紙幣の処理まで、日々のデジタル雑用を自動化するために、ますます多くデプロイされている。 しかし、この機能はフィッシングに敏感な情報を公開する。 安全な実行には、単に行動を拒否しただけで、悪意のあるリクエストと本物のリクエストを区別する必要がある。 現実的な重要性にもかかわらず、この問題は未解明のままであり、現在のエージェントや既存の防御が達成できるかどうかは定かではない。 CredLeak-Benchは、フィッシングやアイデンティティ検証に直面するとき、人間のワークフローを効果的かつ確実に自動化する方法を評価するための総合的なベンチマークである。 このベンチマークでは、ユーザー指向認証と自動受信箱監視の両方がカバーされており、エージェントは明示的にログインするよう指示されていない。 システム的には、偽りの手がかりとフィッシングのシナリオと正当性のあるシナリオのペアを体系的に変更し、真のタスクにおける情報漏洩とユーティリティを共同で評価することを可能にする。 サンドボックス環境では、エージェントの自己報告行動ではなく、情報の実際の提出によってリークを測定する。 評価の結果,テスト対象モデルはすべて漏洩に対して脆弱であることが判明した。 エージェントはまた、自律的な受信箱監視中に機密情報を開示し、ユーザーの認証要求なしにフィッシングが開示を誘導できることを実証する。 さらに、リークを減らすための最も評価された対策は、真のタスクのパフォーマンスを損なうことであり、既存の防御におけるセキュリティユーティリティのトレードオフを露呈する。 これらの知見は, リークの低減だけでは不十分な理由を示唆している。 CredLeak-Benchは、両方の目的を計測し、セキュアで有用なエージェントに向けた進捗を評価するための制御されたフレームワークを提供する。

関連論文リスト

• Safety Signals to Verify NetOps Agents with Action-Level Granularity [22.473140552041276]
  Agentic Network Operations(NetOps)は、ワークロード対応、自己調整可能、信頼性の高い自律ネットワークの実現を約束する新興パラダイムである。 内部信号を利用するエージェント検証器は、観測可能な信号のみを用いて、ベースラインよりも害と進行の両方を予測し、より確実に進行することを示す。 我々は,これらの信号をエージェントハーネスの安全フィードバックとして利用し,リスクのある行為を回避し,標的システムを保護することを目的としている。
  論文  参考訳（メタデータ） (2026-09-13T10:43:37Z)
• ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
  本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。 提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
  論文  参考訳（メタデータ） (2026-08-27T01:22:14Z)
• SecRespond: Benchmarking AI Agents for Real-World Post-Compromise Incident Response [38.89333299127352]
  我々は、インシデント-レスポンス後のワークフローにおいて、LLM(Large Language Model)エージェントを評価するための最初のベンチマークであるSecRespondを紹介する。 私たちはこのタスクを10のサイバー範囲でインスタンス化します。 実験の結果, 現行のエージェントは警報が発する問題を確実に発見できるが, サイレント侵入の円盤を積極的に調査することは困難であることがわかった。
  論文  参考訳（メタデータ） (2026-07-29T11:32:23Z)
• An Evaluation of Data Leakage Risks in Tool-Using LLM Agents in Realistic Scenarios [3.9838595042419076]
  シンガポールのAI安全研究所と韓国のAI安全研究所の共同評価を報告する。 この評価は、データ認識の欠如、オーディエンス認知、ポリシーコンプライアンス、データ最小化、アクセス境界認識の5つのリスクタイプをカバーする。 以上の結果から, 操作データ漏洩は, 対外濾過とは異なる一階のエージェントセーフティの懸念であることが示唆された。
  論文  参考訳（メタデータ） (2026-06-15T09:16:38Z)
• CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents [60.98294016925157]
  AIエージェントは、悪意のあるコンテンツがエージェントの行動をハイジャックして認証情報を盗んだり、金銭的損失を引き起こすような、インジェクション攻撃に弱い。 CUAのためのシングルショットプランニングでは、信頼できるプランナーが、潜在的に悪意のあるコンテンツを観察する前に、条件付きブランチで完全な実行グラフを生成する。 このアーキテクチャ分離は命令インジェクションを効果的に防止するが、ブランチステアリング攻撃を防ぐには追加の対策が必要であることを示す。
  論文  参考訳（メタデータ） (2026-01-14T23:06:35Z)
• Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
  大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。 LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。 モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
  論文  参考訳（メタデータ） (2026-01-12T21:31:38Z)
• SmartSnap: Proactive Evidence Seeking for Self-Verifying Agents [45.71333459905404]
  SmartSnapは、受動的でポストホックな検証から、エージェント自身による積極的な自己検証へのパラダイムシフトである。 両ミッションで設計された新しいタイプのエージェントである「自己検証エージェント」を導入し、タスクを完了し、検証された証拠でその達成を証明した。 モデルファミリとスケールにわたるモバイルタスクの実験は、SmartSnapパラダイムによって、スケーラブルなLLM駆動エージェントのトレーニングが可能になることを実証しています。
  論文  参考訳（メタデータ） (2025-12-26T14:51:39Z)
• Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
  自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。 敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
  論文  参考訳（メタデータ） (2025-10-03T12:47:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。