論文の概要: DecepEval: A Benchmark for Evaluating Deception in LLM Agents

• arxiv url: http://arxiv.org/abs/2610.07967v1
• Date: Tue, 06 Oct 2026 08:33:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.89974
• Title: DecepEval: A Benchmark for Evaluating Deception in LLM Agents
• Title（参考訳）: DecepEval: LLMエージェントの偽造評価ベンチマーク
• Abstract要約: 大規模言語モデル(LLM)エージェントは騙しによってタスクパフォーマンスを追求することができる。 既存の評価では、LLMエージェントは騙すことができるが、しばしば孤立したシナリオや狭義に定義された条件を調べることができる。 3つのタスクファミリに1,532のインスタンスと28のプロフェッショナルシナリオからなるベンチマークであるDecepEvalを紹介します。
• 参考スコア（独自算出の注目度）: 75.59466511154791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language model (LLM) agents become increasingly autonomous, they may pursue task performance through deception, raising concerns about their reliable deployment. Existing evaluations show that LLM agents can deceive, but often examine isolated scenarios or narrowly defined conditions, limiting systematic understanding of when deception becomes more likely. To address this gap, we introduce DecepEval, a benchmark comprising 1,532 instances across 3 task families and 28 professional scenarios. Drawing on classical fraud theories, we propose the LLM Deception Diamond framework, which characterizes four external conditions that may induce deception: pressure, incentive, opportunity, and conflict. DecepEval pairs neutral and induced versions of each instance to measure condition-dependent changes in deception rates, while explicit task facts and observable agent behavior help distinguish deception from capability-related errors. Evaluations of nine frontier LLMs show that inducements increase deception across models and task families, even among models with low baseline deception rates. DecepEval makes these vulnerabilities measurable, providing a shared benchmark for progress toward trustworthy artificial intelligence.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントがますます自律的になるにつれて、騙しを通じてタスクパフォーマンスを追求し、信頼性の高いデプロイメントに対する懸念を提起する。 既存の評価では、LLMエージェントは騙すことができるが、しばしば孤立したシナリオや狭義に定義された条件を検査し、偽装の可能性が高まる際の体系的な理解を制限する。 このギャップに対処するため、3つのタスクファミリと28のプロフェッショナルシナリオにわたる1,532のインスタンスからなるベンチマークであるDecepEvalを紹介します。 古典的詐欺理論を基礎として,プレッシャー,インセンティブ,機会,コンフリクトの4つの外的条件を特徴付けるLLM deception Diamondフレームワークを提案する。 DecepEvalは、各インスタンスの中立バージョンと誘導バージョンをペアにして、偽装率の条件依存的な変化を計測する一方で、明示的なタスク事実と観察可能なエージェントの振る舞いは、偽装と機能関連エラーを区別するのに役立つ。 9つのフロンティアLCMの評価は、ベースライン偽装率の低いモデルであっても、モデルとタスクファミリ間でインジェクションが偽装を増大させることを示している。 DecepEvalはこれらの脆弱性を測定可能とし、信頼できる人工知能に向けた進歩の共有ベンチマークを提供する。

関連論文リスト

• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Are Your Agents Upward Deceivers? [73.1073084327614]
  大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。 これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。 本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
  論文  参考訳（メタデータ） (2025-12-04T14:47:05Z)
• Simulating and Understanding Deceptive Behaviors in Long-Horizon Interactions [18.182800471968132]
  大規模言語モデルにおける偽造の探索と評価のための最初のシミュレーションフレームワークを紹介する。 11のフロンティアモデルで実験を行い、クローズドシステムとオープンソースシステムの両方にまたがっています。 詐欺はモデルに依存しており、イベントプレッシャーの増加とともに増加し、常に監督的信頼を損なう。
  論文  参考訳（メタデータ） (2025-10-05T02:18:23Z)
• Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts [79.1081247754018]
  大規模言語モデル(LLM)は、推論、計画、意思決定のタスクに広くデプロイされている。 そこで我々は, 接触探索質問(CSQ)に基づく枠組みを提案し, 騙しの可能性を定量化する。
  論文  参考訳（メタデータ） (2025-08-08T14:46:35Z)
• AgentMisalignment: Measuring the Propensity for Misaligned Behaviour in LLM-Based Agents [0.0]
  大規模言語モデル (LLM) エージェントはより広く普及し、関連するミスアライメントリスクが増加する。 本研究では,モデルが追求する内部目標と,デプロイ者の意図する目標との相反として,不整合にアプローチする。 現実的なシナリオにおいて,LLMエージェントの適合性を評価するためのベンチマークスイートであるtextscAgentMisalignmentを導入する。
  論文  参考訳（メタデータ） (2025-06-04T14:46:47Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。