論文の概要: CoArena: Evaluating Computer-Use and Multi-Agent Systems in Real Time
- arxiv url: http://arxiv.org/abs/2609.14239v1
- Date: Sun, 13 Sep 2026 02:22:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 12:40:38.824485
- Title: CoArena: Evaluating Computer-Use and Multi-Agent Systems in Real Time
- Title（参考訳）: CoArena: コンピュータとマルチエージェントをリアルタイムで評価する
- Abstract要約: CoArenaは直接使用します。
実時間で5つの測定可能な特性。
211票の5システム例は、投票行列からレーティング、インターバル、ランクバンドに運ばれる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Static benchmarks for computer-use agents fix a task set at release and score every system against it once. That makes them reproducible, and it lets them drift from what they should measure: a fixed task set ages, leaks into training corpora, and cannot follow how people actually use agents from week to week. CoArena measures use directly. Real users submit tasks; two systems, each a single model or a multi-agent pipeline behind the same tool interface, execute the same task concurrently in identical sandboxed desktops; users judge the two outcomes without knowing which system produced them; and a public leaderboard is refit from those judgments. The central contribution is a formal account of what makes such an evaluation real-time. We define real-time as five measurable properties, each with an equation and a worked example: continuous task arrival, live concurrent execution, online rating updates, freshness with contamination resistance, and bounded feedback latency from a failed run to a reusable training environment. The rating methodology follows in full: the Bradley-Terry pairwise model, its likelihood with weighted observations and ties, the penalized maximum-likelihood estimator, and the streaming update applied when a single vote arrives (a stochastic-gradient step on the same likelihood, recovering Elo). It gives confidence intervals from the observed information and a cluster-robust sandwich, rank bands from a parametric bootstrap, the rule by which a new system enters the board, and the convergence rate of the estimate. Vote quality is treated with inter-judge agreement statistics, redundant judging, and explicit handling of ties and abstentions. A five-system example with 211 votes is carried from the vote matrix to ratings, intervals, and rank bands. Every number is derived from stated inputs or labeled illustrative; none is a measurement of a deployed system.
- Abstract（参考訳）: コンピュータ使用エージェントの静的ベンチマークは、リリース時に設定されたタスクを修正し、それに対してすべてのシステムを評価する。
固定されたタスクセットの年齢、トレーニングコーパスへのリーク、週単位から週単位のエージェントの使用方法の追跡などです。
CoArenaは直接使用します。
実際のユーザがタスクを提出する — 同じツールインターフェースの背後にある1つのモデルまたはマルチエージェントパイプラインの2つのシステムは、同じサンドボックスデスクトップで同じタスクを同時に実行する。
中心的な貢献は、そのような評価をリアルタイムに行うための公式な説明である。
リアルタイムを,連続タスクの到着,ライブ並行実行,オンラインレーティング更新,汚染抵抗による鮮度,障害発生から再利用可能なトレーニング環境へのバウンダリフィードバックレイテンシの5つの評価可能な特性として定義する。
評価手法は、Bradley-Terryペアワイドモデル、重み付けされた観測と結びつきのある可能性、ペナルティ化された最大様度推定器、そして単一の投票が到着したときに適用されるストリーミング更新(Eloを回復する確率的段階)である。
観察された情報とクラスタローバストサンドイッチ、パラメトリックブートストラップからのランクバンド、新しいシステムがボードに入るルール、推定の収束率から信頼区間を与える。
投票品質は、ジャッジ間の合意統計、冗長な判断、および関係や棄権の明示的な扱いで扱われる。
211票の5システム例は、投票行列からレーティング、インターバル、ランクバンドに運ばれる。
すべての数字は、記述された入力またはラベル付けされたイラストから導かれる。
関連論文リスト
- Disclosure-Gated User Simulation for Companion-Agent Evaluation [14.962552394114894]
私たちは大きな言語モデルを使ってユーザをプレイし、その仕様に対してユーザシミュレータをトレーニングします。
ゲーティング行動は、トレーニングコーパスの合成ブランチから学習され、実際のブランチは、人々が話す方法と反応する方法を提供する。
ランク付けは順序保存でなければならず、絶対スコアはスケール安定でなければなりません。
論文 参考訳（メタデータ） (2026-09-01T09:39:41Z) - BekchiAI: Measuring, Observing, and Controlling LLM Agents in One Click [0.0]
本稿では,エージェントスキル測定のためのベンチマークであるBekchiAIと,ライブエージェントの監視と制御のためのプラットフォームについて紹介する。
BekchiAI-Platformは、デプロイされたエージェントのための補完的なWebベースの可観測性とコントロールレイヤであり、完全なトークンとテレメトリとリモート実行終了を提供する。
論文 参考訳（メタデータ） (2026-08-27T09:30:08Z) - OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models [87.08963239083614]
コンピュータ利用エージェント(CUA)はデジタル世界で急速に進歩している。
この分野は、CUA軌道の審査員として、視覚言語モデル(VLM)に変わりつつある。
我々は,CUA軌道上のVLM判定値を評価する,現実的で高品質なベンチマークOSRewardを紹介する。
論文 参考訳（メタデータ） (2026-07-30T17:57:41Z) - Rank Intervals for Leaderboards: A Hierarchical Framework for Model Evaluation [4.297070083645049]
両レベルの統計的保証を伴うモデルランク間隔を構築する階層的枠組みを導入する。
シミュレーションデータとTabArena と PromptEval のベンチマーク実験により,本手法が統計的に有効かつ情報的間隔を生じることを示す。
論文 参考訳（メタデータ） (2026-06-07T15:31:29Z) - Offloading Score: Measuring AI Reliance Through Counterfactual Workflows [70.84727355516559]
私たちは、AIツールにオフロードされた認知活動の分断を定量化する、信頼度尺度であるオフロードスコアを導入します。
本研究は,本質的な計量妥当性評価と制御されたユーザスタディにより,オフロードスコアの検証を行う。
オフロードスコアは、時間制約設定における依存度を著しく高めることを示す。
論文 参考訳（メタデータ） (2026-05-28T05:44:31Z) - VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal Evaluation [4.694504497452662]
視覚言語モデル(VLM)は、マルチモーダルシステムの自動判断器としてますます使われているが、そのスコアは信頼性を示すものではない。
本研究では,判断者の得点を校正した予測区間に変換する分布自由フレームワークである共形予測を用いて,この問題を考察する。
本稿では,VLM-as-a-Judgeのコンフォメーション予測を3つの審査員と14の視覚的タスクカテゴリで初めて体系的に解析した。
論文 参考訳（メタデータ） (2026-04-28T05:30:18Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - Active Evaluation of General Agents: Problem Definition and Comparison of Baseline Algorithms [18.53965204068826]
複数のタスクにまたがるエージェントの能動的評価のための形式的定義と概念的枠組みを提案する。
各イテレーションで、ランキングアルゴリズムはタスクとエージェントを選択し、スコアをサンプリングする。
古典的エロ格付けシステムは,実際のランキング誤差を効率よく低減するための一貫した信頼性の高い選択であることがわかった。
論文 参考訳（メタデータ） (2026-01-12T15:32:11Z) - SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。
ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。
提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
論文 参考訳（メタデータ） (2024-11-14T17:53:35Z) - Auditing Fairness by Betting [43.515287900510934]
我々は,デプロイされた分類モデルと回帰モデルの公平性を評価するための,実用的で効率的で非パラメトリックな手法を提供する。
我々の手法は逐次的であり、入ってくるデータの継続的なモニタリングを可能にする。
提案手法の有効性を3つのベンチマークフェアネスデータセットに示す。
論文 参考訳（メタデータ） (2023-05-27T20:14:11Z) - Re-Examining System-Level Correlations of Automatic Summarization
Evaluation Metrics [64.81682222169113]
システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。
システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
論文 参考訳（メタデータ） (2022-04-21T15:52:14Z) - Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。
この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。
このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。
我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
論文 参考訳（メタデータ） (2022-04-05T19:39:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。