論文の概要: AgentDecept: Benchmarking Deceptive Behavior in Tool-Using LLM Agents under Pressure
- arxiv url: http://arxiv.org/abs/2610.39377v1
- Date: Thu, 29 Oct 2026 05:08:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.042996
- Title: AgentDecept: Benchmarking Deceptive Behavior in Tool-Using LLM Agents under Pressure
- Title（参考訳）: AgentDecept: ツールを用いたLLMエージェントの圧力下での認知行動のベンチマーク
- Abstract要約: AgentDeceptは、プレッシャー下での振る舞いの偽装を評価するための実行可能なベンチマークである。
本プロトコルは,ユーザの主張を時間順の観察と実行結果に関連付けることによって,完全な軌跡を評価する。
AgentDeceptは、マルチターンエージェントのレポートが現実的なアプリケーションインタラクションの実行から分岐した時の制御された分析を可能にする。
- 参考スコア（独自算出の注目度）: 26.402880696133852
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents increasingly carry out multi-turn tasks across everyday applications, yet users often see only the agent's report rather than the observations, API calls, and state changes behind it. Existing deception benchmarks have studied long-horizon interactions and tool-use settings, but whether agents faithfully report their actions across realistic, stateful application workflows remains underexplored. To address this gap, we introduce AgentDecept, an executable benchmark for evaluating behavioral deception under pressure. AgentDecept contains 477 pressure variants derived from 257 source tasks across six pressure sources, each paired with a pressure-free counterpart. Interventions enter through event messages, task context, application state, tool responses, and service quotas, spanning explicit events and implicit task or environment changes. Our evidence-grounded protocol evaluates full trajectories by relating user-facing claims to time-ordered observations and executed outcomes, distinguishing falsification, concealment, and equivocation from honest failure and disclosed limitations. The resulting behavioral labels also provide a setting for testing existing activation-based probes. AgentDecept enables controlled analysis of when multi-turn agents' reports diverge from execution in realistic application interactions.
- Abstract（参考訳）: LLMエージェントは、日々のアプリケーションにまたがるマルチターンタスクをますます実行するが、ユーザは、その背後にある観察、API呼び出し、状態の変更よりも、エージェントのレポートのみを見ることが多い。
しかし、エージェントが現実的でステートフルなアプリケーションワークフローにまたがってアクションを忠実に報告するかどうかはまだ解明されていない。
このギャップに対処するために、圧力下での振る舞いの誤認を評価するための実行可能なベンチマークであるAgentDeceptを紹介します。
AgentDeceptには、6つの圧力源にわたる257のソースタスクから派生した477の圧力変種が含まれている。
インターベンションは、イベントメッセージ、タスクコンテキスト、アプリケーション状態、ツール応答、サービスクォータを通じて入力され、明示的なイベントと暗黙的なタスクまたは環境の変化にまたがる。
提案プロトコルは,ユーザの主張を時間順の観察と実行結果に関連付け,虚偽化,隠蔽,公正な失敗と公開制限を区別することにより,完全な軌跡を評価する。
結果として生じる行動ラベルは、既存のアクティベーションベースのプローブをテストするための設定も提供する。
AgentDeceptは、マルチターンエージェントのレポートが現実的なアプリケーションインタラクションの実行から分岐した時の制御された分析を可能にする。
関連論文リスト
- ASPIRE: Agentic Safety & Prompt Injection Red-teaming Engine [51.17686708121503]
LLMエージェントは信頼できないコンテンツを検索し、ツールを通して行動し、間接的なインジェクションリスクを発生させる。
我々は,オープンな行動レベルの脆弱性発見のためのエージェントセーフティ&プロンプトインジェクション・レッドチームエンジンであるASPIREを紹介する。
論文 参考訳（メタデータ） (2026-10-06T18:18:40Z) - DecepEval: A Benchmark for Evaluating Deception in LLM Agents [75.59466511154791]
大規模言語モデル(LLM)エージェントは騙しによってタスクパフォーマンスを追求することができる。
既存の評価では、LLMエージェントは騙すことができるが、しばしば孤立したシナリオや狭義に定義された条件を調べることができる。
3つのタスクファミリに1,532のインスタンスと28のプロフェッショナルシナリオからなるベンチマークであるDecepEvalを紹介します。
論文 参考訳（メタデータ） (2026-10-06T08:33:43Z) - REDAgentBench: Executable Red Teaming and Faithful Measurement of LLM Agent Systems [21.484325207774166]
逆入力はエージェントと環境の間の相互作用を利用することができ、実行中にエージェントが安全ポリシーに違反する。
自律的なリピートと忠実な測定を行うためのフレームワークであるREDAgentBenchを紹介する。
明示的な安全制約と関連するエージェントシステム脆弱性から攻撃を導き、独立したサービスサンドボックスでそれらを実行し、サービスレシートと最終状態の変更による有害な影響を検証する。
論文 参考訳（メタデータ） (2026-08-11T08:48:54Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - ASPI: Seeking Ambiguity Clarification Amplifies Prompt Injection Vulnerability in LLM Agents [2.585367539248893]
我々は,標準実行から明確化検索状態への遷移が,インジェクション攻撃に対するエージェントの感受性を高めるかどうかを検討する。
728のタスクアタックシナリオのベンチマークであるASPIを導入し、明確なエージェント状態として明確化を分離する。
明確化の探究は一貫して、脆弱性を大幅に増幅する。
論文 参考訳（メタデータ） (2026-05-17T08:30:45Z) - When Agents Overtrust Environmental Evidence: An Extensible Agentic Framework for Benchmarking Evidence-Grounding Defects in LLM Agents [7.383366380709273]
大規模言語モデルエージェントは、ファイル、Webページ、API、ログを公開する環境対応の足場を通じて、ますます運用されるようになる。
環境基盤化は、文脈入力、証拠証明、鮮度検査、検証ポリシー、行動ゲーティング、モデル推論を含むシステムレベルの問題である。
この障害モードをベンチマークするためのエージェントフレームワークであるEnvTrustBenchを紹介します。
論文 参考訳（メタデータ） (2026-05-09T09:32:27Z) - AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。
実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
論文 参考訳（メタデータ） (2026-04-20T13:23:38Z) - Agent Mentor: Framing Agent Knowledge through Semantic Trajectory Analysis [4.365760422569902]
我々は、Agent Mentorオープンソースライブラリの一部として実装された分析パイプラインを紹介する。
システムの監視と漸進的な適応によって、他のエージェントの振る舞いを定義する。
パイプラインは、エージェントの知識に修正命令を体系的に注入することで、パフォーマンスを向上させる。
論文 参考訳（メタデータ） (2026-04-12T08:02:54Z) - Agents of Chaos [50.53354213047402]
実験室環境に展開する自律言語モデルを用いたエージェントの探索的再チームの研究を報告する。
20人のAI研究者が、良心的および敵対的な条件下でエージェントと対話した。
我々の発見は、現実的なデプロイメント設定におけるセキュリティ、プライバシ、ガバナンスに関連する脆弱性の存在を確立します。
論文 参考訳（メタデータ） (2026-02-23T16:28:48Z) - Are Your Agents Upward Deceivers? [73.1073084327614]
大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。
これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。
本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
論文 参考訳（メタデータ） (2025-12-04T14:47:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。