論文の概要: VeriHarm-Bench: Measuring Harmful Success in LLM Coding Agents Verifiably
- arxiv url: http://arxiv.org/abs/2611.03575v1
- Date: Mon, 02 Nov 2026 18:27:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.631997
- Title: VeriHarm-Bench: Measuring Harmful Success in LLM Coding Agents Verifiably
- Title（参考訳）: VeriHarm-Bench: LLM符号化エージェントにおける有害な成功の測定
- Abstract要約: 大型モデル(LLM)コーディングエージェントはシェルアクセスで動作し、スクリプトの作成、ファイルの移動、パーミッションの変更、システム構成の変更を可能にする。
しかし、エージェントは、無関係なファイルを削除し、アクセスを弱め、データを破損させ、明示的なジェイルブレイクなしで良質な入力を行うなど、意図しない害を引き起こしながら、ユーザの目標を達成することができる。
この障害モードは、明らかなタスク成功により、エージェントが正しく振る舞うことをユーザーに保証し、有害な副作用が気づかないままにされる可能性があるため、特に重要である。
我々はこれを有害な成功と呼びます:エージェントは意図した良心的なタスクを完了し、同時に意図しない害を引き起こします。
- 参考スコア（独自算出の注目度）: 18.1859503480995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) coding agents increasingly operate with shell access, allowing them to write scripts, move files, alter permissions, and modify system configurations. However, an agent may achieve a user's goal while causing unintended harm, such as deleting unrelated files, weakening access controls, or corrupting data, in response to benign inputs without explicit jailbreaking. This failure mode is particularly important because apparent task success may reassure users that an agent behaved correctly, causing harmful side effects to go unnoticed. We call this harmful success: the agent successfully completes the intended benign task while simultaneously causing unintended harm. Despite its importance, harmful success is difficult to measure because conventional task-success metrics overlook harmful behaviors, while existing safety evaluations are often designed solely to assess harmful outcomes. We introduce VeriHarm, an automatic framework for constructing programmatically verifiable benchmarks that directly measure harmful success. VeriHarm minimally perturbs coding tasks to elicit unintended harmful behavior while maintaining the benignity of the task and preserving the original task objective. It then synthesizes executable harm tests that, together with the original task-correctness tests, evaluate both task accuracy and harmful outcomes. Frontier agents, including GPT-5.6-Sol and Claude-Opus-5, achieve an average task accuracy of 95% on our curated VeriHarm-Bench, yet still struggle to complete tasks safely: their safe success rate, the fraction of tasks completed successfully without triggering the designated harm, averages only 37%. These results suggest that successful task completion can frequently coexist with unintended harm, and that task-success metrics alone may substantially understate the potential safety risks of coding agents.
- Abstract（参考訳）: 大きな言語モデル(LLM)コーディングエージェントは、シェルアクセスでますます動作し、スクリプトの作成、ファイルの移動、パーミッションの変更、システム構成の変更を可能にしている。
しかし、エージェントは、明示的なジェイルブレイクのない良質な入力に対して、無関係なファイルを削除したり、アクセス制御を弱めたり、データを破損させたりといった意図しない害を発生させながら、ユーザの目標を達成することができる。
この障害モードは、明らかなタスク成功により、エージェントが正しく振る舞うことをユーザーに保証し、有害な副作用が気づかないままにされる可能性があるため、特に重要である。
エージェントは意図した良心的なタスクを完了し、同時に意図しない害を発生させる。
従来の課題評価基準が有害な行動を見落としているのに対して、既存の安全評価は有害な結果のみを評価するように設計されているため、その重要性にもかかわらず、有害な成功を測定することは困難である。
有害な成功を直接測定するプログラム検証ベンチマークを構築するための,自動フレームワークであるVeriHarmを紹介する。
VeriHarmは、コーディングタスクを最小限に摂動させ、意図しない有害な振る舞いを誘発し、タスクの良性を維持し、元のタスクの目的を保存する。
その後、実行可能ハーネステストを合成し、元のタスク修正テストとともに、タスク精度と有害な結果の両方を評価する。
GPT-5.6-SolやClaude-Opus-5を含むフロンティアエージェントは、私たちがキュレートしたVeriHarm-Bench上で平均95%のタスク精度を達成するが、それでも安全にタスクを完了させることに苦慮している。
これらの結果は、タスク完了の成功は意図しない害と頻繁に共存することを示し、タスク成功の指標だけでは、コーディングエージェントの潜在的な安全性リスクを著しく過小評価する可能性があることを示唆している。
関連論文リスト
- V$^3$AST-Bench: Verifiable, Valid, and Versatile Safety Evaluation for Coding Agents [22.833790946734307]
大規模な言語モデルは、コード、リポジトリの変更、プログラムの実行、エージェント形式のサービスとのインタラクションを通じて、ますます機能します。
安全性評価は、実際の結果を確認し、危険回避とタスクの不能を区別し、現実をカバーしなければなりません。
V$3$AST-Bench, 検証結果のベンチマーク, 検証解釈, エージェントセーフティの検証リスクカバレッジについて紹介する。
論文 参考訳（メタデータ） (2026-10-26T10:44:18Z) - Coding Agents Are Guessing: Measuring Action-Boundary Violations in Underspecified DevOps Instructions [16.871217408296932]
符号化エージェントにおける動作境界違反を測定するためのベンチマークであるUnderSpecBenchを提案する。
UnderSpecBenchには、ドキュメント化されたインシデントやCVE、ツールの動作を基盤とする69のタスクファミリが含まれている。
タスクの難易度から不特定性を分離するために、各タスクは同じ環境と地道な安全なアクションを維持します。
論文 参考訳（メタデータ） (2026-07-02T15:11:39Z) - OSGuard: A Benchmark for Safety in Computer-Use Agents [12.395093977641581]
OSGuard(OSGuard)は、コンピュータ使用エージェントの安全性を評価するベンチマークスイートである。
OSGuardには、ローカルガードレール決定のためのアクションレベルベンチマークと、エンドツーエンド評価のためのリスク強化実行スイートが含まれている。
論文 参考訳（メタデータ） (2026-06-13T00:32:24Z) - The Verifier Tax: Horizon Dependent Safety Success Tradeoffs in Tool Using LLM Agents [1.3299507495084417]
本研究では, 大規模言語モデル (LLM) エージェントを用いた多段階ツールにおいて, 実行時の安全でない動作に対する強制が, エンドツーエンドのタスクパフォーマンスに与える影響について検討する。
モデル依存相互作用の地平線(15～30ターン)を特定し、その結果を総合成功率(SR)、安全な成功率(SSR)、安全でない成功率(USR)に分解する。
論文 参考訳（メタデータ） (2026-03-18T16:16:34Z) - Internal Safety Collapse in Frontier Large Language Models [65.00730294617382]
この研究は、フロンティア大言語モデル(LLM)における重要な障害モードを特定する。
特定のタスク条件下では、モデルは有害なコンテンツを連続的に生成し、そうでなければ良質なタスクを実行する状態に入る。
有害なコンテンツを生成することが唯一有効な完了であるドメインタスクを通じてISCをトリガーするフレームワークであるTVDを紹介する。
論文 参考訳（メタデータ） (2026-03-04T12:55:34Z) - Beyond Task Completion: Revealing Corrupt Success in LLM Agents through Procedure-Aware Evaluation [2.102846336724103]
プロシージャ・アウェア・アセスメント(PAE)は、エージェント・プロシージャを構造化された観察として形式化するフレームワークである。
タウベンチにおける言語モデル(LLM)に基づくエージェントの評価を行った。
論文 参考訳（メタデータ） (2026-03-03T15:47:41Z) - SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。
フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。
本手法は,現実的な環境下で高い攻撃成功率を達成する。
論文 参考訳（メタデータ） (2026-02-15T16:09:48Z) - When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents [50.5814495434565]
この研究は、コンピュータ利用エージェント(CUA)における不整合検出を定義し、研究する最初の試みである。
実世界のCUAデプロイメントにおける3つの一般的なカテゴリを特定し、人間の注釈付きアクションレベルのアライメントラベルを用いたリアルな軌跡のベンチマークであるMisActBenchを構築した。
本稿では,実行前に不整合を検知し,構造化されたフィードバックによって繰り返し修正する,実用的で普遍的なガードレールであるDeActionを提案する。
論文 参考訳（メタデータ） (2026-02-09T18:41:15Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z) - OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents [60.78202583483591]
コンピュータ使用エージェントの安全性を計測する新しいベンチマークであるOS-Harmを紹介する。
OS-HarmはOSWorld環境上に構築されており、故意のユーザ誤用、インジェクション攻撃、モデル誤動作の3つのカテゴリでモデルをテストすることを目指している。
我々は、フロンティアモデルに基づいてコンピュータ利用エージェントを評価し、その安全性に関する洞察を提供する。
論文 参考訳（メタデータ） (2025-06-17T17:59:31Z) - SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。
SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
論文 参考訳（メタデータ） (2024-12-17T18:55:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。