論文の概要: BARC-Bench: Benign Asks, Risky Consequences
- arxiv url: http://arxiv.org/abs/2610.32024v1
- Date: Fri, 23 Oct 2026 00:53:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.315703
- Title: BARC-Bench: Benign Asks, Risky Consequences
- Title（参考訳）: BARC-Bench氏: 良心とリスク要因
- Abstract要約: BARC-Benchは、9つのシミュレートされたワークスペース環境にまたがる110のタスクの集合である。
我々は,ワークスペース記録,暗黙の環境文脈,および社会的規範によって確立された安全境界に対するエージェントの行動を評価する。
- 参考スコア（独自算出の注目度）: 3.488115782919049
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Task instructions from users for agents are inherently underspecified, especially regarding safety boundaries--creating behavioral risks. To study these risks, we introduce BARC-Bench, a collection of 110 tasks across nine simulated workspace environments where benign requests leave openings for unsafe actions. In this benchmark, we evaluate agent behavior against safety boundaries established by workspace records, implicit environmental context, and unstated social norms. For example, an agent asked to schedule off-boarding discussions must arrange the meeting without prematurely revealing an employee's resignation through a shared calendar invitation. Evaluating four frontier model configurations across five attempts per task reveals that models are not consistently safe: the share of tasks completed safely on all five attempts ranges from 9.1% to 72.7%, with even the strongest configuration producing a safety violation on 27.3% of tasks. These results highlight an asymmetric operational risk: while models frequently complete complex workflows, their inability to consistently respect unstated boundaries presents a substantial barrier to safe autonomous delegation.
- Abstract（参考訳）: エージェントのユーザからのタスク命令は、特に安全境界に関して、本質的に不明確であり、行動リスクを生み出す。
これらのリスクを研究するために、BARC-Benchを紹介します。これは9つのシミュレートされたワークスペース環境にわたる110のタスクの集合で、良質なリクエストが安全でないアクションのために開口部を離れます。
本ベンチマークでは,ワークスペース記録,暗黙的環境コンテキスト,非統計的社会的規範によって確立された安全境界に対するエージェントの挙動を評価する。
例えば、オフボードの議論の予定を依頼されたエージェントは、従業員の辞表を公開せずに、共有カレンダーの招待を通じて会議を手配しなければならない。
5回の試行で安全に完了したタスクのシェアは9.1%から72.7%であり、27.3%のタスクで安全違反を発生させる最も強力な構成でさえある。
これらの結果は非対称な運用リスクを浮き彫りにしている: モデルがしばしば複雑なワークフローを完遂する一方で、非定常境界を一貫して尊重することができないことは、安全な自律デリゲートにとって大きな障壁となる。
関連論文リスト
- RATION: Towards Quantitative Risk-Based Access Control for AI Agents [7.917916660915343]
現在のエージェントセキュリティシステムは、エージェントの行動を制限することでエージェントを保護する。
本稿では,AIエージェントのアクセス制御に対する定量的リスクに基づくアプローチを提案する。
SLAはエージェントアクションに関連する測定可能なリスクを追跡し、実行を通じて量的制約を実施する。
論文 参考訳（メタデータ） (2026-10-16T23:15:24Z) - AgentBoundary: Counterfactual Evaluation of Safety in Tool-Using LLM Agents [13.557645845585776]
大規模な言語モデルの安全性の整合性は、要求に答えるか拒否するかに大きく取り組まれている。
エージェント的設定では、同じモデルが実行中にパーミッションクリティカルな証拠として振る舞うかどうかを判断しなければならない。
AgentBoundは、ツール使用エージェントの安全性のための、最初の4方向の対物生成・評価フレームワークである。
論文 参考訳（メタデータ） (2026-09-27T15:19:52Z) - SafeRelBench: A Spatial-Relation-Aware Benchmark for Process-Level Safety in VLM-Driven Embodied Agents [29.05559307748216]
SFERELBENCHは,507個の実測値を持つ空間相関型安全ベンチマークである。
SAFERELBENCHを用いて、7つのオープンソースおよびクローズドソースなVLM駆動型エンボディエージェントの評価を行い、タスク成功とプロセスレベルの安全コンプライアンスの間に大きなギャップを見出した。
論文 参考訳（メタデータ） (2026-07-16T03:59:44Z) - A New Framework for Cybersecurity Refusals in AI Agents [52.94784168139071]
攻撃的セキュリティの文脈において、拒絶境界を確立するための最初の枠組みを提示する。
本研究では,現在のLLMエージェントがWebベースの攻撃的セキュリティシナリオにおいて,適切な拒絶境界にどのように準拠しているかを評価するために,このフレームワークを適用した。
論文 参考訳（メタデータ） (2026-05-31T15:39:39Z) - Auditing Agent Harness Safety [81.22315979618612]
LLMエージェントは、ツールをディスパッチし、リソースを割り当て、特別なコンポーネント間でメッセージをルーティングする実行ハーネスの中でますます動作します。
ほとんどの安全ベンチマークは最終出力または終端状態のみをスコアするが、多くの違反は終端ではなく、軌道の途中で発生する。
HarnessAuditは、境界コンプライアンス、実行の忠実さ、システムの安定性など、完全な実行軌跡を監査するフレームワークである。
論文 参考訳（メタデータ） (2026-05-14T02:14:28Z) - Risky-Bench: Probing Agentic Safety Risks under Real-World Deployment [64.36422334429228]
大規模言語モデル(LLM)は、現実の環境で運用されるエージェントとして、ますます多くデプロイされている。
既存のエージェントの安全性評価は、特定のエージェント設定に合わせて、リスク指向のタスクに依存する。
本稿では,現実の展開に根ざした組織的エージェント安全評価を実現するフレームワークであるR Risky-Benchを提案する。
論文 参考訳（メタデータ） (2026-02-03T04:44:11Z) - BeSafe-Bench: Unveiling Behavioral Safety Risks of Situated Agents in Functional Environments [22.32760987248309]
本研究では,機能的環境における位置エージェントの行動安全リスクを明らかにするベンチマークであるBeSafe-Bench(BSB)を提案する。
BSBは、Web、Mobile、Embodied VLM、Embodied VLAの4つの代表的なドメインをカバーしている。
機能的環境を用いて、安全クリティカルリスクの9つのカテゴリでタスクを増強し、多様な指導空間を構築する。
論文 参考訳（メタデータ） (2026-01-30T03:41:57Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳（メタデータ） (2025-07-08T16:18:54Z) - A Framework for Benchmarking and Aligning Task-Planning Safety in LLM-Based Embodied Agents [13.225168384790257]
大規模言語モデル(LLM)は、エンボディエージェント内のタスク計画能力を向上する上で大きな可能性を秘めている。
我々は, LLMをベースとしたエンボディエージェントの挙動を, セーフプランベンチとアライメントのための統合フレームワークであるSafe-BeAlを提案する。
我々の経験的分析によると、敵対的な入力や悪意がなくても、LSMベースのエージェントは安全でない行動を示すことができる。
論文 参考訳（メタデータ） (2025-04-20T15:12:14Z) - LabSafety Bench: Benchmarking LLMs on Safety Issues in Scientific Labs [78.99703366417661]
大規模言語モデル(LLM)は、手続き的なガイダンスから自律的な実験オーケストレーションまで、タスクをますます支援している。
このような過度な信頼性は、リスク識別やリスクアセスメントの失敗が重大事故を引き起こす高リスクな実験室環境では特に危険である。
実験室安全ベンチマーク (LabSafety Bench) を提案し, 潜在的な危険を識別し, リスクを評価し, 実験室環境における安全でない行動の結果を予測する。
論文 参考訳（メタデータ） (2024-10-18T05:21:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。