論文の概要: V$^3$AST-Bench: Verifiable, Valid, and Versatile Safety Evaluation for Coding Agents

• arxiv url: http://arxiv.org/abs/2610.35188v1
• Date: Mon, 26 Oct 2026 10:44:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.831185
• Title: V$^3$AST-Bench: Verifiable, Valid, and Versatile Safety Evaluation for Coding Agents
• Title（参考訳）: V$3$AST-Bench: 符号化剤の信頼性, 妥当性, 安全性評価
• Abstract要約: 大規模な言語モデルは、コード、リポジトリの変更、プログラムの実行、エージェント形式のサービスとのインタラクションを通じて、ますます機能します。 安全性評価は、実際の結果を確認し、危険回避とタスクの不能を区別し、現実をカバーしなければなりません。 V$3$AST-Bench, 検証結果のベンチマーク, 検証解釈, エージェントセーフティの検証リスクカバレッジについて紹介する。
• 参考スコア（独自算出の注目度）: 22.833790946734307
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models increasingly act through code, modifying repositories, executing programs, and interacting with services in agent form. Their actions introduce risks that cannot be assessed from generated responses alone. Safety evaluation must verify actual consequences, distinguish harm avoidance from task incapability, and cover realistic workflows. We introduce V$^3$AST-Bench, a benchmark for Verifiable results, Valid interpretation, and Versatile risk coverage of Agent Safety. It comprises 212 risk tasks spanning 18 categories. Dedicated runtime environments verify harm and task outcomes through executable checks over states, records, and artifact behavior, while paired capability twin tasks verify workflow competence. Our experiments span 51 combinations of 11 models and five harnesses, spanning 86,496 trials and over 9 billion tokens of model interaction. Results show that V$^3$AST-Bench remains challenging even for frontier coding agents, as Claude Opus 4.8 with Claude Code still causes verified harm on 20.9% of tasks. Across model-harness combinations, agents with comparable competence exhibit markedly different safety outcomes, showing that task capability alone does not guarantee safe execution. More importantly, even explicit recognition of risks does not reliably prevent harmful actions, revealing a critical gap between risk awareness and safe execution. These findings highlight the need to move beyond risk recognition toward enforcing safety throughout execution.
• Abstract（参考訳）: 大規模な言語モデルは、コード、リポジトリの変更、プログラムの実行、エージェント形式のサービスとのインタラクションを通じて、ますます機能します。 彼らの行動は、生成された反応からのみ評価できないリスクをもたらす。 安全性評価は、実際の結果を確認し、危険回避とタスク能力の区別をし、現実的なワークフローをカバーする必要がある。 V$^3$AST-Bench, 検証結果のベンチマーク, 検証解釈, エージェントセーフティの検証リスクカバレッジについて紹介する。 18のカテゴリにまたがる212のリスクタスクで構成されている。 指定された実行環境は、状態、レコード、アーティファクト動作の実行可能なチェックを通じて、害とタスクの結果を検証します。 我々の実験は、11のモデルと5つのハーネスの51の組み合わせにまたがっており、86,496のトライアルと90億以上のモデル相互作用のトークンにまたがっている。 結果、V$^3$AST-Bench はフロンティアのコーディングエージェントでさえも困難であり、Claude Opus 4.8 と Claude Code は依然として 20.9% のタスクに対して検証された害をもたらす。 モデルとハーネスの組み合わせ全体で、同等の能力を持つエージェントは、明らかに異なる安全性の結果を示し、タスク能力だけでは安全な実行を保証していない。 さらに重要なのは、リスクを明確に認識しても、有害な行為を確実に防ぐことができず、リスク認識と安全な実行の間に重要なギャップが浮かび上がっていることです。 これらの知見は、リスク認識を超えて、実行中安全を強制する必要性を浮き彫りにしている。

関連論文リスト

• AgentBoundary: Counterfactual Evaluation of Safety in Tool-Using LLM Agents [13.557645845585776]
  大規模な言語モデルの安全性の整合性は、要求に答えるか拒否するかに大きく取り組まれている。 エージェント的設定では、同じモデルが実行中にパーミッションクリティカルな証拠として振る舞うかどうかを判断しなければならない。 AgentBoundは、ツール使用エージェントの安全性のための、最初の4方向の対物生成・評価フレームワークである。
  論文  参考訳（メタデータ） (2026-09-27T15:19:52Z)
• ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents [23.994328225666663]
  同僚は保護されたデータを開示し、不正な状態を操作し、不正なAPIを呼び出しながら、良質なタスクを完了することができる。 本稿では,行動安全を定義し,最終応答ではなく,実行軌跡からそのような行動リスクを評価するベンチマークであるActBenchを紹介する。 ActBenchには213のシナリオから600のケースが含まれており、15のリスク行動、6の実行スペース、48のWebサービスAPIがある。
  論文  参考訳（メタデータ） (2026-08-10T11:45:03Z)
• AgentS4D: Benchmarking Runtime Risks across the Execution Lifecycle of LLM-Based Workspace Agents [10.99961131065026]
  大規模言語モデル(LLM)ベースのワークスペースエージェントは、異種リソースをまたいだステートフルなマルチステップを実行する。 最近のベンチマークでは、先進的な安全テストと軌道認識検証が実施されている。 我々は、ライフサイクル全体のランタイム安全性評価のためのサンドボックスベンチマークであるAgentS4Dを紹介する。
  論文  参考訳（メタデータ） (2026-07-29T15:55:45Z)
• What Breaks When LLMs Code? Characterizing Operational Safety Failures of Agentic Code Assistants [4.032084095153604]
  私たちは、22のプレミア会場から68,816の論文、安全関連の研究185のキュレーション、広くデプロイされたコーディングツールから16,586のGitHubイシューを検査しました。 両コーパスを体系的にオープンコーディングすることで、33種類の運用リスクの多次元安全分類を導出する。 以上の結果から,コーディングエージェント障害は重篤で,547件中326件が重篤であった。
  論文  参考訳（メタデータ） (2026-05-29T03:09:37Z)
• SkillSafetyBench: Evaluating Agent Safety under Skill-Facing Attack Surfaces [28.615215165815297]
  SkillSafetyBenchは、スキルを介する安全性障害を評価するためのベンチマークである。 ローカライズされた非ユーザアタックは、常に安全でない振る舞いを誘導できることを示す。 その結果, エージェントの安全性は, モデルレベルのアライメントだけでなく, エージェントがいかにスキルを解釈するかにも依存していることがわかった。
  論文  参考訳（メタデータ） (2026-05-12T12:03:54Z)
• HazardArena: Evaluating Semantic Safety in Vision-Language-Action Models [87.35765363039638]
  本研究では,視覚・言語・アクションモデルのセマンティック安全性を評価するためのベンチマークであるHazardArenaを紹介する。 安全シナリオに特化してトレーニングされたVLAモデルは、対応する安全でないシナリオで評価された場合、安全に動作しないことが多い。 本研究では,セマンティック属性や視覚言語判断を用いた行動実行を制約する,トレーニングフリーの安全オプション層を提案する。
  論文  参考訳（メタデータ） (2026-04-14T08:32:02Z)
• RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
  視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。 しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。 提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
  論文  参考訳（メタデータ） (2025-12-24T15:01:26Z)
• OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
  OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
  論文  参考訳（メタデータ） (2025-07-08T16:18:54Z)
• AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions [64.85086226439954]
  本稿では,有害な指示に対するVLMエージェントの安全性を評価するためのベンチマークであるSAFEを提案する。 SAFEは、SAFE−THOR、SAFE−VERSE、SAFE−DIAGNOSEの3つの成分からなる。 我々は、ハザード認識を安全な計画と実行に翻訳する体系的な失敗を明らかにする。
  論文  参考訳（メタデータ） (2025-06-17T16:37:35Z)
• SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
  我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。 SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
  論文  参考訳（メタデータ） (2024-12-17T18:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。