論文の概要: Unfinished-Bench: Measuring Rule Violations by Persistent Agents in Realistic Work Environments
- arxiv url: http://arxiv.org/abs/2611.17460v1
- Date: Thu, 12 Nov 2026 19:36:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.248795
- Title: Unfinished-Bench: Measuring Rule Violations by Persistent Agents in Realistic Work Environments
- Title(参考訳): Unfinished-Bench:現実的な作業環境における永続的エージェントによるルール違反の測定
- Abstract要約: Unfinished-Benchは、ユーザなしで自律的な実行におけるモデル永続性を提供するベンチマークです。
7つの組織と7つのリスクカテゴリにまたがる97のシナリオにおいて、目標とルールはどちらも保持できない。
我々は、内部文書における規則の永続性は32.2%から43.6%に上昇し、ユーザによる同じ規則の8.5%の5倍となった。
- 参考スコア(独自算出の注目度): 52.412030997706985
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents are increasingly equipped with persistence toward task completion to run delegated work autonomously for long periods, under many unstated constraints from internal documents and other people's authority. When completion requires violating a rule, the agent must decide alone, yet benchmarks of instruction-rule conflicts state the rule in the prompt or keep it hidden and do not evaluate persistence. We present Unfinished-Bench, a benchmark that gives models persistence in autonomous runs without a user, in realistic work environments with embedded rules. In each of its 97 scenarios across 7 organizations and 7 risk categories, the goal and the rule cannot both hold. We find that persistence raised violations of a rule in an internal document from 32.2% to 43.6%, five times the 8.5% for the same rule stated by the user. Of the document-rule violations, 98.3% occurred after the rule was displayed, and in 89% of a judged sample the agent first wrote down the rule. Violations of rules placed in the environment without user oversight can lead to serious incidents, so persistence-driven risks need to be evaluated. Benchmark documentation: https://francis21c.github.io/unfinished-bench/
- Abstract(参考訳): AIエージェントは、内部文書や他人の権威による多くの未定の制約の下で、長い間、委任された作業を自律的に実行するためのタスク完了に向けた永続性を備えている。
完了がルールに違反している場合、エージェントは単独で決定しなければならないが、命令ルールの競合のベンチマークはプロンプトにルールを記述したり、それを隠したり、永続性を評価しない。
Unfinished-Benchは、ユーザなしで自律的な実行におけるモデル永続性を提供するベンチマークで、組み込みルールを備えた現実的な作業環境を提供する。
7つの組織と7つのリスクカテゴリにまたがる97のシナリオにおいて、目標とルールはどちらも保持できない。
我々は、内部文書における規則の永続性は32.2%から43.6%に上昇し、ユーザによる同じ規則の8.5%の5倍となった。
文書・ルール違反のうち、98.3%はルールが提示された後に発生し、判定されたサンプルの89%では、エージェントが最初にルールを書き留めた。
ユーザを監視せずに環境に置かれるルールの違反は、重大なインシデントを引き起こす可能性があるため、永続性駆動型リスクを評価する必要がある。
ベンチマーク資料:https://francis21c.github.io/unfinished-bench/
関連論文リスト
- Do Agents Still Follow the Rules? Benchmarking Rule Compliance under Agent Context Compaction [8.218112335042107]
オープンソースpiエージェントハーネス上に構築されたベンチマークであるARCBenchを紹介する。
コンパクション後の違反がどこから来たのか、またコンパクションと対角的設定の違いがソースをどう変えるかを検討する。
論文 参考訳(メタデータ) (2026-11-02T14:45:36Z) - From Approval to Abuse: Privilege Escalation Attacks on Harness-Protected Coding Agents [71.95900681890676]
コーディングエージェントは、実行ハーネスを使用して、パーミッション境界を強制することによって、プロンプトインジェクションの結果を制限する。
承認疲労を軽減するために、ユーザはエージェントが提案する許可ルールを承認し、その後、ルールにマッチする将来のアクションをプロンプトなしで許可する。
信頼できないコンテキストは、承認のために提示された許可に影響を与える可能性がある。
論文 参考訳(メタデータ) (2026-10-16T06:13:06Z) - Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents [29.96375986740068]
Harness-IFは、実行証拠から一度に1つの運用ルールをスコアする。
AP-Accは、不正なデフォルトに対してラベル付けされたルールのみをスコアする。
論文 参考訳(メタデータ) (2026-08-12T07:07:57Z) - HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following [0.8998688639218773]
Handbook_mdは、従業員が会社のハンドブックに従う方法をモデル化した65のエージェントタスクのベンチマークである。
タスクは5つのドメイン(ファイナンス、医療請求、保険、物流、人事)と10の架空の会社にまたがる。
それぞれのタスクは、要求されたアクションが発生し、禁止されたアクションが起こらなかったことの両方をチェックする、プログラム的な基準のルーリックを持っています。
論文 参考訳(メタデータ) (2026-07-28T07:58:07Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳(メタデータ) (2026-06-22T11:36:58Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳(メタデータ) (2026-05-13T21:34:08Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳(メタデータ) (2026-04-26T16:05:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。