論文の概要: Computer Use at the Edge of the Statistical Precipice

• arxiv url: http://arxiv.org/abs/2605.08261v1
• Date: Thu, 07 May 2026 22:43:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.509192
• Title: Computer Use at the Edge of the Statistical Precipice
• Title（参考訳）: 統計的前提の端点におけるコンピュータ利用
• Abstract要約: 記録されたアクションシーケンスを盲目的に実行した1MBのリプレイスクリプトは、顕著な静的ベンチマークにおいてフロンティアモデルよりも優れていることを示す。 非原則的環境設計と非原則的評価手法の2つの根本原因を追究する。
• 参考スコア（独自算出の注目度）: 19.604476051265852
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating Computer Use Agents (CUAs) on interactive environments is fraught with methodological pitfalls that the field has yet to systematically address. We show that a 1MB replay script that blindly executes a recorded action sequence without ever observing the screen outperforms frontier models on prominent static benchmarks, and prove that its expected success rate is exactly equal to the source agent's pass@k in deterministic environments. We trace this and other failures to two root causes: non-principled environment design (static, unsandboxed, or unreliably verified environments) and non-principled evaluation methodology (naive aggregation and misuse of pass@k for stateful UI interactions). To address the first, we propose PRISM, five design principles for CUA environments (privileged verification, realistic environments, integrity-checked configurations, sandboxed execution, and multifactorial variability) and instantiate them in DigiWorld, a benchmark of 15 realistic sandboxed mobile applications able to evaluate agents in over 3.2 million verified unique configurations. To address the second, we develop an aggregation framework pairing Wilson score intervals with hierarchical bootstrap, producing confidence intervals that correctly account for the nested structure of CUA benchmarks, as we empirically demonstrate. All together, we show that principled environment design and rigorous evaluation methodology are not optional refinements but prerequisites for meaningful CUA research.
• Abstract（参考訳）: 対話型環境におけるコンピュータ利用エージェント (CUA) の評価には, 分野がまだ体系的に対応していない方法論的な落とし穴が伴っている。 画面を観察することなく記録されたアクションシーケンスを盲目的に実行する1MBのリプレイスクリプトが、顕著な静的ベンチマークにおいてフロンティアモデルよりも優れており、その成功率が決定論的環境におけるソースエージェントのpass@kと全く同じであることを示す。 この2つの根本原因は、非原則環境設計(静的、非サンドボックス、信頼性の低い環境)と非原則評価方法論(ステートフルなUIインタラクションに対するpass@kの集約と誤用)である。 まず、CUA環境のための5つの設計原則であるPRISM(プライベート検証、現実的な環境、整合性チェックされた構成、サンドボックス実行、多要素変数)を提案し、DigiWorldでそれらをインスタンス化する。 2つ目は、Wilsonのスコア間隔と階層的なブートストラップをペアリングして、CUAベンチマークのネスト構造を正しく考慮した信頼区間を生成するアグリゲーションフレームワークである。 総じて、原則的環境設計と厳密な評価手法は、オプション的な改良ではなく、有意義なCUA研究の前提条件であることを示す。

関連論文リスト

• EnvHarness: Awakening Static Worlds for Agent Learning [58.54600450547412]
  Environment Harnessは静的な環境をラップして、基礎となるロジックを変更することなく振る舞いを再構築する。 EnvHarnessは様々な領域にまたがって適用され、すべての再形環境が元の検証元を保持する。 EnvRiggerはターゲットポリシーをブラックボックスとして扱い、その実行軌跡を観察して、診断された欠陥をターゲットとしたEnvHarnessコンポーネントを合成する。
  論文  参考訳（メタデータ） (2026-08-20T10:42:06Z)
• Label-Free Target-Domain Adaptation for Unconstrained Event-Image Feature Matching via Dual-Stage Distillation [30.789763956644958]
  クロスモーダルマッチング手法は、マッチングラベルまたは厳密に整列されたハードウェアに依存しているため、大きく制限されている。 本稿では,この問題に対処するための新しい2段階トレーニングパラダイムを提案する。 提案手法はMVSECとTUM-VIEの両方のポーズ推定タスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-07-11T02:23:11Z)
• Hybrid Robustness Verification for Spatio-Temporal Neural Networks [19.026662893450425]
  既存の検証方法は、過度に保守的な近似や不正な計算コストに依存している。 実際には、対向摂動は、低次元、意味論的に意味のある部分空間に制約された、構造化された空間的および時間的相関を示す。 動作認識(UCF-101)、自律運転(Udacity)、医用画像(MedMNIST)の用途を対象として、3次元CNNによる映像入力のロバスト性検証を行う。
  論文  参考訳（メタデータ） (2026-06-08T17:06:51Z)
• A Unified Framework for the Evaluation of LLM Agentic Capabilities [36.43241368835721]
  LLMエージェント能力の公平な評価のための統一的なフレームワークを提案する。 統合された構成システムによって駆動されるこのフレームワークは、様々なベンチマークを標準化された命令-ツール-環境フォーマットに統合する。 我々は15モデルで400Kロールアウトと5Bトークンに対して大規模な実証分析を行う。
  論文  参考訳（メタデータ） (2026-05-27T03:20:45Z)
• WinDeskGround: A Benchmark for Robust GUI Grounding in Complex Multi-Window Desktop Environments [49.98994180610182]
  MLLM (Multimodal Large Language Models) はGUIの自動化に革命をもたらしたが、その効果は理想化された単一層インタフェースでほぼ確立されている。 本稿では,最先端のエージェントが現実のデスクトップ環境において,異なる課題に直面しているという,重要な信頼性ギャップを明らかにする。 我々はGUI基盤の堅牢性を評価するための新しいベンチマークと合成フレームワークであるWinDeskGroundを紹介する。
  論文  参考訳（メタデータ） (2026-05-13T02:48:52Z)
• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• From Frames to Events: Rethinking Evaluation in Human-Centric Video Anomaly Detection [9.404376027901277]
  ポースベースのビデオ異常検出(VAD)は、プライバシー保護の性質と環境変動に対する堅牢性において大きな注目を集めている。 従来のフレームレベルの評価では、ビデオは孤立したフレームの集合として扱われ、現実の世界で異常がどのように現れ、行動するかを根本的に誤解している。 本稿では,階層的なガウススムースメントと適応二項化を備えたスコアリファインメントパイプラインと,イベントレベルの検出を直接生成するエンドツーエンドのデュアルブランチモデルという,時間的イベントローカライゼーションのための2つの戦略を紹介する。
  論文  参考訳（メタデータ） (2026-04-10T13:52:18Z)
• K$α$LOS finds Consensus: A Meta-Algorithm for Evaluating Inter-Annotator Agreement in Complex Vision Tasks [4.297070083645049]
  本稿では,「ローカライゼーションファースト」の原理を一般化した統一メタアルゴリズムであるK$LOSを提案する。 合意を査定する前に空間対応を解消することにより,複雑な分類問題を名目上の信頼性に変換する。
  論文  参考訳（メタデータ） (2026-03-28T08:54:05Z)
• AmbiBench: Benchmarking Mobile GUI Agents Beyond One-Shot Instructions in the Wild [30.138230316314534]
  本稿では,一方向の指示から双方向の意図のアライメントへ評価をシフトするために,指示明細の分類を取り入れた最初のベンチマークであるAmbiBenchを紹介する。 厳密なレビュープロトコルの下で,25のアプリケーションにまたがる240の生態学的に有効なタスクの厳密なデータセットを構築した。 また,MLLM-as-a-judgeマルチエージェントアーキテクチャを利用した自動フレームワークであるMUSEを開発した。
  論文  参考訳（メタデータ） (2026-02-12T09:25:15Z)
• AgentNoiseBench: Benchmarking Robustness of Tool-Using LLM Agents Under Noisy Condition [72.24180896265192]
  本稿では,騒音環境下でのエージェントモデルのロバスト性を評価するためのフレームワークであるAgentNoiseBenchを紹介する。 まず、実世界のシナリオにおけるバイアスと不確実性の詳細な分析を行う。 次に,環境騒音をユーザノイズとツールノイズの2つの主要なタイプに分類する。 この分析に基づいて,既存のエージェント中心ベンチマークに制御可能なノイズを注入する自動パイプラインを開発した。
  論文  参考訳（メタデータ） (2026-02-11T20:33:10Z)
• Automated Model Evaluation for Object Detection via Prediction Consistency and Reliability [3.9486037760311725]
  PCR (Predict Consistency and Reliability) は, 地味ラベルを使わずに検出性能を推定する。 我々は、様々な重度の画像汚職を適用して、メタデータセットを構築する。 その結果,PCRは既存のAutoEval法よりも精度の高い性能推定値が得られることがわかった。
  論文  参考訳（メタデータ） (2025-08-16T15:39:56Z)
• Certifiably Robust Policies for Uncertain Parametric Environments [57.2416302384766]
  本稿ではパラメータ上の未知分布を持つパラメトリックマルコフ決定プロセス(MDP)に基づくフレームワークを提案する。 パラメータによって誘導される未知のサンプル環境に対するIMDPの学習と解析を行う。 当社のアプローチは,信頼度の高い政策のパフォーマンスに厳密な拘束力をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-08-06T10:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。