論文の概要: SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle

• arxiv url: http://arxiv.org/abs/2610.13626v1
• Date: Fri, 09 Oct 2026 14:09:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.613628
• Title: SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle
• Title（参考訳）: SWE-DeceptionBench: ソフトウェア開発ライフサイクル全体にわたるLLMの認知的振る舞いのベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、ソフトウェア開発ライフサイクルを通じてますます使われています。 知覚的行動は、誤った反応や情報の作成、隠蔽、歪曲などの支援の形をとる。 SWE-DeceptionBenchは,ソフトウェア工学におけるLLMの偽装を評価するベンチマークである。
• 参考スコア（独自算出の注目度）: 19.176230434163426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are increasingly used throughout the software development lifecycle. This growing reliance on LLMs raises concerns about their trustworthiness, with deception posing a particularly important risk. Deceptive behavior takes the form of misleading responses or assistance in fabricating, concealing, or distorting information. To study this behavior, we introduce SWE-DeceptionBench, a benchmark for evaluating LLM deception in software engineering. The benchmark covers six lifecycle stages and two deception triggers: Active Deception, where models recognize infeasible or conflicting requirements but still present them as achievable, and Passive Deception, where models help fulfill explicit user requests to mislead others. We further introduce Neutral, Reward, and Pressure conditions to study the effect of external inducements, resulting in 720 test instances in Chinese and English. Evaluating seven mainstream LLMs, we find substantial deception even under the Neutral condition, with aggregate rates of 49.88% for Active Deception and 64.29% for Passive Deception. Deception rates vary across lifecycle stages, and external inducements affect Active and Passive Deception to different extents. We also evaluate lightweight defenses, finding that guard models miss many deceptive requests, and Self-Reminder reduces but does not eliminate deceptive responses. These findings highlight the need for more effective deception detection and mitigation methods to support trustworthy LLM-based software engineering.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ソフトウェア開発ライフサイクルを通じてますます使われています。 このLLMへの依存度の増加は、その信頼性に対する懸念を高め、詐欺は特に重大なリスクを生じさせる。 知覚的行動は、誤った反応や情報の作成、隠蔽、歪曲などの支援の形をとる。 そこで本研究では,ソフトウェア工学におけるLLM偽装評価ベンチマークであるSWE-DeceptionBenchを紹介する。 このベンチマークでは6つのライフサイクルステージと2つの偽装トリガーがカバーされている。 アクティブ・デセプション(Active Deception) – モデルが非現実的あるいは矛盾する要件を認識しつつも、それを達成可能なものとして提示する機能)と、他を誤解させるための明示的なユーザ要求を満たすためにモデルが支援するパッシブ・デセプション(Passive Deception)。 さらに、中性・逆性・圧力条件を導入し、外的誘導の影響を調べた結果、中国語と英語で720の試験例が得られた。 7つの主要なLCMを評価すると、中性条件下であっても実質的な偽装が見られ、アクティブ・デセプションは49.88%、パッシブ・デセプションは64.29%である。 偽装率はライフサイクルの段階によって異なり、外部のインジェクションは、異なる範囲でアクティブおよびパッシブ・デセプションに影響を与える。 また、より軽量な防御も評価し、ガードモデルが多くの偽装要求を見逃し、Self-Reminderが減少するが、偽装応答を排除しないことが分かった。 これらの知見は、信頼性の高いLCMベースのソフトウェア工学を支援するために、より効果的な偽造検出と緩和方法の必要性を浮き彫りにした。

関連論文リスト

• DecepEval: A Benchmark for Evaluating Deception in LLM Agents [75.59466511154791]
  大規模言語モデル(LLM)エージェントは騙しによってタスクパフォーマンスを追求することができる。 既存の評価では、LLMエージェントは騙すことができるが、しばしば孤立したシナリオや狭義に定義された条件を調べることができる。 3つのタスクファミリに1,532のインスタンスと28のプロフェッショナルシナリオからなるベンチマークであるDecepEvalを紹介します。
  論文  参考訳（メタデータ） (2026-10-06T08:33:43Z)
• Steering LLM Viewpoints through Fabricated Evidence Injection [61.22850755490993]
  提案手法では,2段階のアタック・フレームワークを導入し,まず構成された有理数で誤解を招く文を再パッケージし,関連する問合せに応答する上で,これらの視点を組み込むことを目標LLMに指示する。 BBQ、ToxiGen、および我々の特別なデータセットの実験により、外部安全分類器を持たない商用LLMは、非常に脆弱であることが判明した。 そこで我々は,複数の防衛戦略について検討し,その中のひとつとして,gpt-oss-safeguardが81%の検知率を達成した。
  論文  参考訳（メタデータ） (2026-06-04T14:48:23Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
  大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。 故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。 本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:29:36Z)
• Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts [79.1081247754018]
  大規模言語モデル(LLM)は、推論、計画、意思決定のタスクに広くデプロイされている。 そこで我々は, 接触探索質問(CSQ)に基づく枠組みを提案し, 騙しの可能性を定量化する。
  論文  参考訳（メタデータ） (2025-08-08T14:46:35Z)
• OpenDeception: Benchmarking and Investigating AI Deceptive Behaviors via Open-ended Interaction Simulation [25.17027143580468]
  オープンなシナリオデータセットを備えた,新たな偽装評価フレームワークであるOpenDeceptionを紹介する。 OpenDeception は LLM をベースとしたエージェントの偽装意図と能力の両方を, 内部推論過程を検査することによって共同評価する。 そこで本研究では, エージェントシミュレーションによるマルチターン対話をシミュレートする手法を提案する。
  論文  参考訳（メタデータ） (2025-04-18T14:11:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。