論文の概要: Uncertainty Quantification for Computer-Use Agents: A Benchmark across Vision-Language Models and GUI Grounding Datasets

• arxiv url: http://arxiv.org/abs/2606.25760v1
• Date: Wed, 24 Jun 2026 12:34:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.326296
• Title: Uncertainty Quantification for Computer-Use Agents: A Benchmark across Vision-Language Models and GUI Grounding Datasets
• Title（参考訳）: コンピュータ利用エージェントの不確実性定量化:視覚言語モデルとGUIグラウンドデータセット間のベンチマーク
• Abstract要約: 本稿では,単段階実行可能なGUIグラウンドにおけるポストホックUQのクロスレジームベンチマークであるArgusを紹介する。 我々は,ロジットに基づくスコア,サンプリングと整合性尺度,隠れ状態および密度推定器,P(True)および言語信頼促進手法の評価を行った。 UQランキングは、固定モデルのためにデータセット間で安定しているが、モデルクラスとオブザーバブルインターフェース間で分解される。
• 参考スコア（独自算出の注目度）: 6.896160570537455
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computer-use agents turn vision-language model (VLM) predictions into executable GUI clicks, so reliable uncertainty estimates are essential for rejection, calibration, miss-severity ranking, and spatial safety regions. Yet evidence on post-hoc uncertainty quantification (UQ) for these agents is fragmented across isolated model and dataset pairs, leaving it unclear whether UQ rankings stay stable when the agent, benchmark, or observable interface changes. We present Argus, a cross-regime benchmark for post-hoc UQ in single-step executable GUI grounding: a 27-method open-weight matrix over 4 VLM agents and 4 datasets, plus an 8-method closed-source matrix across 3 frontier vendors where logits, hidden states, and attention maps are unavailable. Evaluated methods span logit-based scores, sampling and consistency measures, hidden-state and density estimators (Mahalanobis, SAPLMA), attention-based scores, P(True) and verbalised-confidence prompting, and split-conformal prediction. The main finding is selective transfer: UQ rankings are stable across datasets for a fixed model, but degrade across model classes and observable interfaces. Hidden-state and density methods are the most stable open-weight family, while CoCoA-1MCA, Focus, sampling-based scores, and verbalised self-assessment win in specific regimes. Within-model ranking transfer is strong (Spearman rho up to 0.969), but cross-tier transfer to closed-source vendors averages only +0.08, so closed-source UQ should be reranked on the target rather than extrapolated. Conformal click regions show score-level discrimination is not enough for deployment: locally weighted disks shrink radii by 40-60% when the plug-in UQ is calibrated, but coverage degrades under calibration-test or interface mismatch. We release per-item records, calibration/test splits, UQ scores, and analysis scripts for regime-aware UQ selection in GUI agents.
• Abstract（参考訳）: コンピュータ利用エージェントは視覚言語モデル(VLM)予測を実行可能なGUIクリックに変換するため、拒否、校正、ミス重大度ランキング、空間安全領域には信頼性の高い不確実性推定が不可欠である。 しかし、これらのエージェントに対するポストホック不確実性定量化(UQ)に関する証拠は、分離されたモデルとデータセットのペア間で断片化されており、エージェント、ベンチマーク、またはオブザーバブルインターフェースが変更されても、UQランキングが安定しているかどうかは不明である。 4つのVLMエージェントと4つのデータセットにまたがる27mのオープンウェイトマトリックスに加えて、ロジット、隠れ状態、アテンションマップが利用できない3つのフロンティアベンダーにまたがる8mのクローズドソースマトリックスである。 評価手法は,ロジットに基づくスコア,サンプリングと整合性測定,隠れ状態および密度推定器(Mahalanobis,SAPLMA),注意に基づくスコア,P(True)および言語的信頼の促進,分割整合予測にまたがる。 UQランキングは、固定モデルのためにデータセット間で安定しているが、モデルクラスとオブザーバブルインターフェース間で分解される。 隠れた状態と密度の手法は最も安定したオープンウェイトファミリーであり、CoCoA-1MCA、フォーカス、サンプリングベースのスコア、言語化された自己評価の勝ちである。 モデル内のランク付けは強い(Spearman rho 0.969まで)が、クローズドソースベンダーへのクロス層転送は平均+0.08である。 局所重み付きディスクは、プラグインUQの校正時に半径を40-60%縮小するが、校正テストやインターフェースミスマッチでカバレッジが低下する。 GUIエージェントのレシシック対応UQ選択のための,イテムレコード,キャリブレーション/テスト分割,UQスコア,分析スクリプトをリリースする。

関連論文リスト

• Beyond Single-Turn Confidence: Trajectory-Adapted Uncertainty Quantification for LLM Agents [0.0]
  単ターンUQ手法の3つの共通ファミリーが対話的軌道設定に遷移するかどうかを検討する。 転送はしばしば有用であるが、不均一であることがわかった。 トークン確率スコアは、各ターンで使用されるアグリゲータの選択に非常に敏感である。 ブラックボックスの自己整合性はしばしば最強のUQファミリーであり、軌跡等価性とアクションセットの整合性は変種の中では最高である。
  論文  参考訳（メタデータ） (2026-08-12T01:39:28Z)
• Understanding Software Defect Prediction: A Large-scale Empirical Study Across Uncertainty Quantification and Performance Evaluation [12.540031438888716]
  ソフトウェア欠陥予測(SDP)分類器は、検査優先順位付け、しきい値調整、リスクコミュニケーションに使用される確率を生成する。 SDPに対する確率ベース不確実性定量化(UQ)の大規模実験を行った。 5つのUQ指標、6つのパフォーマンス指標、3つのキャリブレーション指標を16の代表的な分類器で評価した。
  論文  参考訳（メタデータ） (2026-07-02T08:05:27Z)
• MADE: A Living Benchmark for Multi-Label Text Classification with Uncertainty Quantification of Medical Device Adverse Events [0.7685926099671206]
  医療などの高度な領域における機械学習は、強力な予測性能と信頼性のある不確実性定量化を必要とする。 医療機器の異常事象報告から得られたMLTCベンチマークであるMADEを紹介する。 エントロピー/一貫性に基づく自己言語UQ手法を体系的に評価する。
  論文  参考訳（メタデータ） (2026-04-16T16:28:16Z)
• VeriSciQA: An Auto-Verified Dataset for Scientific Visual Question Answering [53.662676566188175]
  重要なボトルネックは、パブリックで大規模で高品質なビジュアル質問回答(SVQA)データセットの欠如にある。 本稿では、まず、図形関連テクストコンテキストとQAペアを生成する検証中心のGenerate-then-Verifyフレームワークを提案する。 このフレームワークをインスタンス化し、20の科学的ドメインと12のフィギュアタイプからなる20,351のQAペアのデータセットであるVeriSciQAをキュレートします。
  論文  参考訳（メタデータ） (2025-11-25T04:14:52Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• PCS-UQ: Uncertainty Quantification via the Predictability-Computability-Stability Framework [6.160524342384932]
  本稿では,検証データ科学における予測可能性,計算可能性,安定性の枠組みに基づく信頼性の高い不確実性定量化(UQ)手法を提案する。 PCS-UQは予測チェックを使用してモデル選択に対処し、不適切なモデルをスクリーニングする。 PCS-UQは、これらのスクリーニングされたアルゴリズムを複数のブートストラップに適合させ、サンプル間の変動とアルゴリズムの不安定性を評価する。
  論文  参考訳（メタデータ） (2025-05-13T17:58:16Z)
• Sample, Don't Search: Rethinking Test-Time Alignment for Language Models [55.2480439325792]
  新しいテストタイムアライメントアプローチであるQAlignを紹介します。 テスト時間計算をスケールする際、QAlignは各プロンプトの最適配向分布からのサンプリングに収束する。 マルコフ連鎖モンテカルロのテキスト生成における最近の進歩を取り入れることで、基礎となるモデルを変更したり、ロジットアクセスを必要とせずに、より良い整合出力を可能にする。
  論文  参考訳（メタデータ） (2025-04-04T00:41:40Z)
• Teaching Large Language Models to Regress Accurate Image Quality Scores using Score Distribution [27.411948623919226]
  我々は,Multi-modal Large Language Models (MLLM) を用いて,正確な品質スコアを回帰する。 鍵となる課題は、品質スコアが本質的に連続であり、一般的にガウス分布としてモデル化されるのに対し、MLLMは離散トークン出力を生成することである。 スコア分布をソフトラベルに識別する分布に基づく手法を提案する。 スコア分布の特性を保存し、高精度で画像間関係を維持する。
  論文  参考訳（メタデータ） (2025-01-20T16:04:57Z)
• RICA2: Rubric-Informed, Calibrated Assessment of Actions [8.641411594566714]
  動作品質評価(AQA)の予測不確かさを考慮に入れた深層確率モデルRICA2を提案する。 本手法はFineDiving, MTL-AQA, JIGSAWSなどの公開ベンチマークにおいて, スコア予測と不確実性校正性能に優れた手法であることを示す。
  論文  参考訳（メタデータ） (2024-08-04T20:35:33Z)
• Towards Clear Expectations for Uncertainty Estimation [64.20262246029286]
  不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。 この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
  論文  参考訳（メタデータ） (2022-07-27T07:50:57Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。