論文の概要: Learning from Reliable Negatives: Confidence-Anchored Test-Time Adaptation for GUI Grounding
- arxiv url: http://arxiv.org/abs/2609.15307v1
- Date: Mon, 14 Sep 2026 09:56:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.25598
- Title: Learning from Reliable Negatives: Confidence-Anchored Test-Time Adaptation for GUI Grounding
- Title（参考訳）: 信頼度の高いネガティブから学ぶ:GUIグラウンディングのための信頼度アンコールテスト時間適応
- Abstract要約: 座標トークンの信頼性パターンは、フルシーケンスの信頼性よりも優れた指標である。
負のサンプルは、潜在的にノイズの多いポジティブな信号よりも、より信頼性の高い学習信号を提供する。
本研究は,GUIエージェント開発のための手動アノテーションの強力な代替手段として,コーディネート・ツー・ケント・インテリジェンスを確立した。
- 参考スコア（独自算出の注目度）: 42.10524107620523
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graphical User Interface (GUI) grounding is essential for autonomous agents to map natural language instructions to precise screen coordinates. However, existing supervised fine-tuning and reinforcement learning methods are constrained by the high cost of annotation, creating a scalability bottleneck. In this paper, we introduce a label-free test-time training paradigm driven by two key insights: (1) confidence patterns in coordinate tokens are a better indicator than full-sequence confidence, and (2) in sparse GUI coordinate spaces, negative samples offer more reliable learning signals than potentially noisy positive ones. We first propose Confidence-Anchored Learning (CAL), which utilizes coordinate-token confidence to filter pseudo-labels and assign distance-based binary rewards. Building on this, we develop Confidence-Anchored Negative Learning (CANL), which exclusively optimizes the model using negative samples to bypass the risks of incorrect positive samples. Experimental results demonstrate that CANL-7B achieves 92.1% on ScreenSpot-V2. On more challenging ScreenSpot-Pro, CANL-7B reaches 33.8%, an 8.9% absolute improvement over the base model. Our findings establish coordinate-token confidence as a powerful alternative to manual annotations for scalable GUI agent development.
- Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)の基盤は、自然言語命令を正確な画面座標にマッピングするために自律エージェントにとって不可欠である。
しかし、既存の教師付き微調整および強化学習手法は、アノテーションの高コストで制約され、スケーラビリティのボトルネックが生じる。
本稿では,(1)座標トークンにおける信頼パターンは全列信頼度よりも優れた指標であり,(2)疎GUI座標空間においては,負のサンプルの方がノイズの多いものよりも信頼性の高い学習信号を提供する,という2つの重要な洞察によって,ラベルフリーなテストタイムトレーニングパラダイムを導入する。
まず, 協調的信頼度を利用して擬似ラベルをフィルタリングし, 距離に基づく二項報酬を割り当てる信頼-アンコレッド学習(CAL)を提案する。
そこで我々は,正の正の正の正のリスクを回避すべく,正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正
CANL-7BはScreenSpot-V2で92.1%を達成した。
より難しいScreenSpot-Proでは、CANL-7Bが33.8%に達した。
本研究は,GUIエージェント開発のための手動アノテーションの強力な代替手段として,コーディネート・ツー・ケント・インテリジェンスを確立した。
関連論文リスト
- Single-Channel EEG-Based Cognitive Load Assessment in Online Learning: A Hybrid Deep Learning Approach [0.0]
本研究では,シングルチャネルのコンシューマグレードのEEGデバイスが,難しい教育ビデオコンテンツと容易に区別できるかどうかを検討する。
生波形と帯域パワーを結合したハイブリッドCNN+LSTM+Attentionモデルを実装した。
論文 参考訳（メタデータ） (2026-07-02T07:13:01Z) - BAMI: Training-Free Bias Mitigation in GUI Grounding [72.1023567399117]
我々は、これらのバイアスを効果的に軽減するために、粗い焦点と候補選択という2つの重要な操作を組み込んだtextbfBias-Aware Manipulation Inference (BAMI)を導入する。
BAMIは、トレーニングフリー環境で様々なGUIグラウンドモデルの精度を大幅に向上させる。
論文 参考訳（メタデータ） (2026-05-07T17:59:31Z) - Linking Perception, Confidence and Accuracy in MLLMs [15.540652692247098]
信頼駆動強化学習(CDRL)は、感度を高め、モデルの信頼性を堅牢に調整するために、オリジナルノイズイメージペアを使用する。
信頼性を考慮したテスト時間スケーリング(CA-TTS)は、信頼性信号によって導かれる自己整合性、自己回帰、視覚的自己チェックモジュールを動的に調整する。
統合されたフレームワークは、4つのベンチマークで一貫性のある8.8%のアップで、最先端の新たな結果を確立します。
論文 参考訳（メタデータ） (2026-03-12T16:47:42Z) - SafeGround: Know When to Trust GUI Grounding Models via Uncertainty Calibration [38.97678256807034]
GUIグラウンドモデルのための不確実性を認識したフレームワークであるSafeGroundを紹介する。
テスト前にキャリブレーションを通じてリスクを意識した予測を可能にする。
SafeGroundを複数のGUIグラウンドモデルに適用し、ScreenSpot-Proベンチマークに挑戦する。
論文 参考訳（メタデータ） (2026-02-02T18:22:45Z) - HyperClick: Advancing Reliable GUI Grounding via Uncertainty Calibration [18.315584342136997]
HyperClickは、不確実なキャリブレーションを通じて信頼性の高いGUIグラウンドを改善する新しいフレームワークである。
この結果から,HyperClickは信頼性を良好に保ちつつ,最先端のパフォーマンスを達成できることが示唆された。
論文 参考訳（メタデータ） (2025-10-31T08:07:02Z) - HaLP: Hallucinating Latent Positives for Skeleton-based Self-Supervised
Learning of Actions [69.14257241250046]
ラベルなしの骨格に基づく行動認識のためのモデル学習のための新しいコントラスト学習手法を提案する。
私たちの重要な貢献は、単純なモジュールであるHalucinate Latent Positivesのコントラスト学習へのHalucinate HaLPです。
実験を通して、標準のコントラスト学習フレームワーク内でこれらの生成した正を使用すれば、一貫した改善がもたらされることを示す。
論文 参考訳（メタデータ） (2023-04-01T21:09:43Z) - To be Critical: Self-Calibrated Weakly Supervised Learning for Salient
Object Detection [95.21700830273221]
弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。
擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。
十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
論文 参考訳（メタデータ） (2021-09-04T02:45:22Z) - Improving Contrastive Learning by Visualizing Feature Transformation [37.548120912055595]
本稿では,データ拡張とは異なる特徴レベルのデータ操作を考案し,汎用的なコントラスト型自己教師型学習の強化を試みる。
まず,pos/negスコアの可視化手法(pos/negスコアはpos/negペアの類似性を示す)を設計し,学習過程の分析,解釈,理解を可能にする。
その結果,MoCoベースライン上でのImageNet-100の精度は少なくとも6.0%向上し,MoCoV2ベースライン上でのImageNet-1Kの精度は約2.0%向上した。
論文 参考訳（メタデータ） (2021-08-06T07:26:08Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - Binary Classification from Positive Data with Skewed Confidence [85.18941440826309]
肯定的信頼度(Pconf)分類は、有望な弱教師付き学習法である。
実際には、信頼はアノテーションプロセスで生じるバイアスによって歪められることがある。
本稿では、スキュード信頼度のパラメータ化モデルを導入し、ハイパーパラメータを選択する方法を提案する。
論文 参考訳（メタデータ） (2020-01-29T00:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。