論文の概要: EnvOS: Auditing Computer-Use Agents When the World Moves On : Phenomenon-Based Task Construction, Certification, and Evidence-Based Evaluation

• arxiv url: http://arxiv.org/abs/2610.40246v1
• Date: Thu, 29 Oct 2026 15:17:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.103338
• Title: EnvOS: Auditing Computer-Use Agents When the World Moves On : Phenomenon-Based Task Construction, Certification, and Evidence-Based Evaluation
• Title（参考訳）: EnvOS:世界が進むときのコンピュータ利用エージェントの監査 : フェノメノンに基づくタスク構築、認証、エビデンスに基づく評価
• Abstract要約: EnvOSは、タスクの途中で変化する環境の構築と認定のためのフレームワークである。 EnvOSは、各変更が正しく発火し、タスクが解決可能であり、グレーダが間違った振る舞いから正しく分離していることをチェックする。
• 参考スコア（独自算出の注目度）: 1.959154879389361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computer-use agents built on large language models (LLMs) work in software that can change while they act: an appointment moves, a policy is revised, a record is updated. Testing agents under such changes is harder than it looks. When an agent fails, the cause may be the agent, but it may also be a change that did not fire as intended, an update the agent never received, or a grader that scored the episode wrongly. We introduce EnvOS, a framework for building and certifying environments that change mid-task. Before any agent runs, EnvOS checks that each change fires correctly, that the task remains solvable, and that the grader separates correct from incorrect behavior; after each run, separate code re-checks the verdict from archived evidence. We apply it to stale information, where a value the agent has already seen changes before the agent acts on it. In clinic booking, Claude Opus 5 succeeds on 0/16 tasks when nothing extra is shown, 2/16 when reminded to re-check the source, and 15/16 when the updated value is shown; the gain over the reminder holds after correcting for all tests (p = 0.00293). In insurance-claim approval, Opus 5 re-checks on its own and succeeds on 10/10, whereas Claude Sonnet 5 rises from 1/10 to 9/10 when the current policy is shown again, a gain significant in its pre-registered test but not after correcting for all tests. Whether an agent caught a change thus varied with the model and the interface. We also stress-test the grading itself: on corrupted episodes designed blind from the rules, the EnvOS pipeline accepted none of 26 as clean, and on an externally generated set it caught 25 of 39, against 4 for simple log checks. Because every EnvOS environment is generated from a seed and graded by an audited automatic verifier, the same environments are natural candidates for training agents with reinforcement learning from verifiable rewards.
• Abstract（参考訳）: 大規模言語モデル(LLM)上に構築されたコンピュータ利用エージェントは、動作中に変更可能なソフトウェアで動作する:アポイントメントが動き、ポリシーが更新され、レコードが更新される。 このような変更の下でエージェントをテストするのは、見た目よりも難しいです。 エージェントが失敗した場合、原因はエージェントかもしれないが、意図したように発火しなかった変更、エージェントが受け取らなかった更新、あるいはエピソードを誤って得点したグレーダーでもある。 タスクの途中で変化する環境の構築と認定のためのフレームワークであるEnvOSを紹介します。 エージェントが実行される前に、EnvOSは、各変更が正しく発火し、タスクが解決可能であり、グレーダが正しい動作と間違った動作を分離していることをチェックする。 エージェントがエージェントに作用する前に、エージェントがすでに見た値が変化している情報にそれを適用します。 クリニック予約では、余分な表示がない場合、クロードオプス5は0/16タスクで成功し、2/16はソースを再チェックするようリマインダーがリマインダーされたとき、15/16は更新された値が表示され、リマインダー以上のゲインは全テストの修正後に保持される(p = 0.00293)。 一方、クロード・ソネット5は、現在の方針が再び示されると1/10から9/10に上昇するが、登録済みの試験では上昇するが、全ての試験を修正した後は上昇しない。 エージェントが変更をキャッチするかどうかは、モデルとインターフェースによって異なる。 ルールから目立たずにデザインされた腐敗エピソードでは、EvOSパイプラインは26のどちらかをクリーンとして受け入れず、外部で生成されたセットでは、単純なログチェックのために4つに対して、39の25をキャッチしました。 すべてのEnvOS環境は、種子から生成され、監査された自動検証器によって評価されるため、同じ環境は、検証可能な報酬から強化学習された訓練エージェントの自然な候補である。

関連論文リスト

• Concordat: Typed Sessions for LLM Agents [0.8122270502556375]
  インタフェースが有限状態プロトコルであるオブジェクトとしてエージェントを扱うPythonライブラリであるConcordatを提示する。 各ターンでモデルが提供されるのは、現在のプロトコル状態において合法的なツールのみである。 我々は,50の航空業務におけるタウベンチの標準エージェントに対するコンコルダットエージェントの評価を行い,エージェントに確認を欠くよう圧力をかけた模擬顧客を加えた。
  論文  参考訳（メタデータ） (2026-10-27T16:00:26Z)
• SWE-Shift: Evaluating Coding Agents in Evolving Workspaces [59.99170893706881]
  ソフトウェア開発では、エージェントが動作している間、コード、依存関係、ランタイム状態、要件が変更される可能性がある。 我々は,このような中間実行変化下でのコーディングエージェント評価のベンチマークであるSWE-Shiftを紹介する。 クリーンな成功よりもシフトの少ない17のコーディングエージェントシステムを評価した。
  論文  参考訳（メタデータ） (2026-10-23T05:47:59Z)
• What Counts as the Same Task? Executable Contracts for Robustness Evaluation of Tool-Using Agents [4.920234461448995]
  多くの評価は弱い規則で決定する。 契約は、どの事実がタスクを定義し、どの編集が許可され、タスクが完了するかを記述する。 同一の14,336個の格納されたエージェントを各ルールで比較する。
  論文  参考訳（メタデータ） (2026-10-10T02:18:56Z)
• Agents Are Systems, Not Models: Rethinking Agentic Evaluation [80.87068485535677]
  エージェントの構成の5つの部分(タスク情報、推論、自己検証、時間予算、バックボーンモデル)について検討する。 結果の約54%は、変更ではなく、同じ構成を繰り返すことによるものです。 ベンチマークと18,000以上のエージェントトラジェクトリをリリースする。
  論文  参考訳（メタデータ） (2026-10-01T12:55:07Z)
• AgentCheck: A Reproduce-Intervene-Mitigate Workbench for LLM Agents over MCP [0.0]
  AgentCheckは、実際のツールに対してエージェントを実行し、すべてのツール応答を記録し、その後、障害(12タイプ)インジェクタによって妨害されたレスポンスでエージェントを再実行します。 マッチングツールコールはキャッシュからリプレイされ、その後、エージェントが分岐した後にツールコールがライブになる。 開発者は緩和をトグルし、同じ障害に対して再実行し、障害が消滅するかどうかを確認する。
  論文  参考訳（メタデータ） (2026-07-13T05:14:12Z)
• Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
  アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。 我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。 我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
  論文  参考訳（メタデータ） (2026-06-22T11:36:58Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
  ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。 それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。 評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
  論文  参考訳（メタデータ） (2026-04-05T17:55:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。