論文の概要: PersonaCUABench: Benchmarking Computer-Use Agents Serving Diverse Personas

• arxiv url: http://arxiv.org/abs/2610.22990v1
• Date: Fri, 16 Oct 2026 06:14:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.791658
• Title: PersonaCUABench: Benchmarking Computer-Use Agents Serving Diverse Personas
• Title（参考訳）: PersonaCUABench: 多様なペルソナを専門とするコンピュータ利用エージェントのベンチマーク
• Abstract要約: 我々はPersonaCUABenchを紹介し、11のドメインで74のタスクを固定する。 4つのグループで44人のペルソナのうちの1つを演奏するペルソナエージェントは、ユーザ自身の言葉で各命令を書き直し、CUAの質問に答える。 9つのバックボーン(3,330回の実行)で、タスクの完了率は元の要求に対して36%減少する。
• 参考スコア（独自算出の注目度）: 42.17006659249659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computer-use agents (CUAs) are commonly evaluated against fixed task specifications, but users may omit requirements, add constraints, or require approval before consequential actions. Completing the benchmark instruction does not guarantee serving the person who asked. We introduce PersonaCUABench, which holds 74 tasks across 11 domains fixed and varies only who asks. A persona agent, playing one of 44 personas in four groups, rewrites each instruction in that user's own words and answers the CUA's questions, while the CUA sees only the dialogue, never the profile or the original instruction. Across nine backbones (3,330 runs), mean task completion falls by 36% relative to the original requests. The losses have two sources: in 59.9% of cells that lose points, the agent engages with what the user asked for and still gets it wrong, and 11.2% are stops the user requested that the checker scores as failures. Even when a persona request is fully completed, the user gives the top satisfaction rating in only 62.7% of cells, against 84.1% for the original requests. CUAs should therefore be evaluated not only on task completion but also on whether they meet the requirements and constraints users express. Code: https://github.com/MatrAIx-ai/PersonaCUABench. Project page: https://matraix.ai/research/persona-cua.html
• Abstract（参考訳）: コンピュータ利用エージェント(CUA)は、固定タスク仕様に対して一般的に評価されるが、ユーザーは要求を省略したり、制約を追加したり、関連するアクションの前に承認を必要とすることがある。 ベンチマークのインストラクションを補完することは、尋ねられた人にサービスを提供することを保証しません。 我々はPersonaCUABenchを紹介した。これは11のドメインに74のタスクを格納し、誰に尋ねるかだけを変える。 4つのグループで44人のペルソナの1つを演奏するペルソナエージェントは、ユーザ自身の言葉で各命令を書き直し、CUAの質問に答える。 9つのバックボーン(3,330回の実行)で、タスクの完了率は元の要求に対して36%減少する。 59.9%の細胞がポイントを失うと、エージェントはユーザーが要求したものといっしょに処理を行い、11.2%はチェッカーに障害として得点するように要求する。 ペルソナ要求が完全に完了しても、ユーザーは62.7%のセルで最高の満足度を与え、元のリクエストは84.1%である。 したがって、CUAはタスク完了だけでなく、ユーザが表現する要件や制約を満たすかどうかも評価されるべきである。 コード:https://github.com/MatrAIx-ai/PersonaCUABench プロジェクトページ: https://matraix.ai/research/persona-cua.html

関連論文リスト

• A Trust Layer for Agent Evaluation [0.0]
  エージェント評価のための信頼層(Trust Layer for Agent Evaluation)は、各スコアの横に、それを信じるべきかを報告します。 結果がベンチマーク自身のグレーディングロジックによってサポートされているかどうか、パス回答がトレーサブルによって得られたかどうか、エージェントの完了クレームが何が起きたかに一致しているか、そして繰り返し実行時に結果が安定であるかどうか、の4つの特性を検証する。
  論文  参考訳（メタデータ） (2026-10-05T19:15:37Z)
• DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation? [0.0]
  DoGBENCHは、実際のユーザ向けソフトウェアドキュメンテーションの生成とメンテナンスのための最初のベンチマークである。 これは、経験豊富なテクニカルライターがレビューで受け入れるであろうドキュメントを、エージェントが作成できるかどうかを問うものだ。 ベンチマークには、Helm、PostHog、Mauticなど、オープンソースプロジェクトの292項目が含まれている。
  論文  参考訳（メタデータ） (2026-09-30T15:04:31Z)
• RoboFind: Multi-Agent Personalized Object Search for People Who Are Blind or Have Low Vision [49.05749155803252]
  ブラインドやロービジョンのユーザは、同じカテゴリの任意のインスタンスではなく、特定のパーソナルオブジェクトを見つける必要があることが多い。 スマートフォンがターゲットを教え、四足歩行ロボットが検索を行うマルチエージェントフレームワークであるRoboFindを提案する。 32回の実際のロボットミッションで、RoboFindは85.0%成功し、25.0%が再建されたシーケンシャルファーストストップベースラインである。
  論文  参考訳（メタデータ） (2026-09-17T13:04:23Z)
• If Agents Were Angels, No Governance Would Be Necessary: Out-of-Band Policy Enforcement at a Trusted Tool Boundary [0.07499722271664146]
  Out-of-Band Policy Enforcement (OBPE)は、エージェント推論以外の信頼できる境界である。 OBPEは型付き操作とリソースを許可し、バックエンド呼び出しの前にクエリを絞り込み、それからレコードとフィールドをフィルタリングし、レスポンスの値にマスクを付ける。
  論文  参考訳（メタデータ） (2026-08-27T19:35:48Z)
• Beyond the Final Prompt: Measuring the Effect of Within-Conversation Context on AI Answers [0.0]
  管理された商用コーパスと公開PRISMデータセットからサンプリングされた180の英語マルチターン会話に対して、最終ユーザメッセージと要求された回答モデル定数を保持する。 1つはロールラベリングされた会話から、もう1つは最終メッセージから、もう1つは最終メッセージから、もう1つはプレフィックスのみの再構築で160語に制限された。 許容コホートに対する逆確率重み付けの後、完全な会話と孤立した最終回答は44.7%のケースで実質的に異なる。
  論文  参考訳（メタデータ） (2026-08-03T17:40:46Z)
• DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
  DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。 タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。 SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
  論文  参考訳（メタデータ） (2026-07-08T21:45:34Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
  アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。 我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。 我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
  論文  参考訳（メタデータ） (2026-06-22T11:36:58Z)
• Getting Better at Working With You: Compiling User Corrections into Runtime Enforcement for Coding Agents [99.67681154381803]
  Test-time Rule Acquisition and Compiled Enforcement (TRACE)は、コーディングエージェントランタイムのためのスキル層パイプラインである。 開発者が事前に記述した実行時チェックとは異なり、TRACEスキルはユーザのチャット修正に由来する。
  論文  参考訳（メタデータ） (2026-06-11T10:43:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。