論文の概要: GUI-C$^2$: Coarse-to-Fine GUI Grounding via Difficulty-Aware Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2605.30884v1
- Date: Fri, 29 May 2026 06:17:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.416321
- Title: GUI-C$^2$: Coarse-to-Fine GUI Grounding via Difficulty-Aware Reinforcement Learning
- Title（参考訳）: GUI-C$^2$:難易度認識強化学習による粗大なGUI接地
- Abstract要約: GUI-Dは適切なテストによってトレーニングに値するサンプルを特定し、その後のトレーニング重量をガイドするために難易度スコアを割り当てる。
戦略レベルでは、エリアゲートの粗大な精細化機構を用いたGUI-C$2$を提案する。
本手法は最先端の性能を実現する。
- 参考スコア（独自算出の注目度）: 23.582549876926432
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Existing agentic reinforcement learning methods for GUI grounding have limitations at two levels. At the data level, current approaches typically treat all training samples equally, although their training value to the baseline model varies with difficulty. Overlooking this can greatly reduce training efficiency or even cause collapse. At the strategy level, existing frameworks struggle to balance the trade-off between cropping larger regions for sufficient context and smaller ones for reduced redundancy, a tension inherent to tool-augmented grounding agents. In addition, overly complex decision-making is difficult for small-parameter models and significantly increases inference time. To address these issues, at the data level, we propose GUI-D, a data mining and difficulty scoring pipeline that identifies the training-worthy samples by proper testing and assigns difficulty scores to guide subsequent training weights. At the strategy level, we propose GUI-C$^2$, which employs an area-gated coarse-to-fine refinement mechanism that progressively narrows the visual field via model-internal uncertainty signals, adaptively reserving context for large targets while amplifying precision for small ones, reinforced by improvement-aware stage rewards that ensure each refinement genuinely advances grounding. Meanwhile, we simplify the decision-making process to greatly reduce additional inference time. Finally, extensive experiments show that our method achieves state-of-the-art performance. The code and data will be publicly available.
- Abstract（参考訳）: 既存のGUI接地のためのエージェント強化学習手法には2段階の制限がある。
データレベルでは、現在のアプローチでは、すべてのトレーニングサンプルを平等に扱うのが一般的だが、ベースラインモデルに対するトレーニング値は困難によって異なる。
これを見渡すと、トレーニングの効率が大幅に低下するし、崩壊することもある。
戦略レベルでは、既存のフレームワークは、十分なコンテキストで収穫する領域と、ツール強化された接地エージェントに固有の緊張関係である冗長性の低減のための小さな領域との間のトレードオフのバランスに苦慮している。
さらに、小パラメータモデルでは過度に複雑な意思決定が困難であり、推論時間を大幅に増加させる。
これらの問題に対処するため、データレベルでは、適切なテストによってトレーニングに値するサンプルを識別し、その後のトレーニング重みを導くのに難易度スコアを割り当てる、データマイニングと難易度スコアパイプラインであるGUI-Dを提案する。
戦略レベルではGUI-C$^2$が提案され、モデル内部の不確実性信号によって視野を段階的に狭め、大きなターゲットのコンテキストを適応的に保存し、小さなターゲットの精度を向上し、各リファインメントが真に接地することを確実にする改良段階報酬によって強化される。
一方,決定過程を単純化し,追加の推論時間を劇的に短縮する。
最後に,本手法が最先端性能を実現することを示す。
コードとデータは公開されます。
関連論文リスト
- Focus When Necessary: Adaptive Routing and Collaborative Grounding for Training-Free Visual Grounding [56.38477453373368]
LazyMCoTは動的でトレーニング不要なフレームワークで、サンプルの難易度に基づいて視覚的接地作業を適応的に割り当てる。
LazyMCoTは、推論精度を同時に改善し、平均推論レイテンシを低減することで、トレーニングベースのアプローチと競合する。
論文 参考訳（メタデータ） (2026-06-15T03:17:44Z) - GUI-Libra: Training Native GUI Agents to Reason and Act with Action-aware Supervision and Partially Verifiable RL [64.8155693023222]
オープンソースのネイティブGUIエージェントは、長い水平ナビゲーションタスクのクローズドソースシステムに遅れを取っている。
このギャップは、高品質でアクション整合性のある推論データが不足していることに起因している。
GUI-Libraは、これらの課題に対処する調整されたトレーニングレシピです。
論文 参考訳（メタデータ） (2026-02-25T18:34:57Z) - Learning with Challenges: Adaptive Difficulty-Aware Data Generation for Mobile GUI Agent Training [10.376682582953046]
MobileGenは、GUIエージェントの機能フロンティアとトレーニングの難しさを一致させる、新しいデータ生成フレームワークである。
GUIエージェントの平均性能を1.57倍改善することで、既存のデータ生成手法を一貫して上回っている。
このことは、効果的なモバイルGUIエージェントトレーニングにおける機能整合データ生成の重要性を強調している。
論文 参考訳（メタデータ） (2026-01-30T10:03:20Z) - Entropy-Guided Token Dropout: Training Autoregressive Language Models with Limited Domain Data [89.96277093034547]
本研究では,エントロピー誘導型トークンドロップアウト方式であるEntroDropを導入する。
本稿では,EntroDropが標準正規化ベースラインを一貫して上回り,拡張型マルチエポックトレーニングを通じて堅牢な性能を維持していることを示す。
論文 参考訳（メタデータ） (2025-12-29T12:35:51Z) - CRAFT-GUI: Curriculum-Reinforced Agent For GUI Tasks [11.121687042616974]
Reinforcement Learning (RL) は動的対話型GUI環境においてエージェントのパフォーマンスを効果的に向上させる。
ほとんどのアプローチはタスク固有のニュアンスを1つの粗い報酬に分解し、エージェントに非効率なポリシー更新をもたらす均一な信号を残す。
我々は,グループ相対政策最適化(GRPO)に基づくカリキュラム学習フレームワークであるCRAFT-GUIを提案する。
論文 参考訳（メタデータ） (2025-08-15T09:55:02Z) - UI-AGILE: Advancing GUI Agents with Effective Reinforcement Learning and Precise Inference-Time Grounding [16.939058522414836]
トレーニングと推論の両方においてGUIエージェントを強化するUI-AGILEを導入する。
トレーニングのために,スーパービジョン・ファイン・チューニング(SFT)プロセスの一連の改善を提案する。
推測のために,高解像度ディスプレイのグラウンド化精度を劇的に向上させるために,選択による分解グラウンド化を提案する。
論文 参考訳（メタデータ） (2025-07-29T17:22:07Z) - Unlocking the Potential of Difficulty Prior in RL-based Multimodal Reasoning [69.64809103333839]
先行情報に対する問題の難易度を明示的にモデル化し,多モーダル推論における強化学習に基づく微調整の有効性を検証した。
提案手法は,2段階学習データのみを2K+0.6Kとする多モード数学的推論ベンチマークにおいて有意な性能を示す。
論文 参考訳（メタデータ） (2025-05-19T15:43:10Z) - Improving Long-Horizon Imitation Through Instruction Prediction [93.47416552953075]
本研究では、しばしば使われない補助的監督源である言語の使用について検討する。
近年のトランスフォーマーモデルの発展にインスパイアされたエージェントは,高レベルの抽象化で動作する時間拡張表現の学習を促す命令予測損失を持つエージェントを訓練する。
さらなる分析では、複雑な推論を必要とするタスクにおいて、命令モデリングが最も重要であり、単純な計画を必要とする環境において、より小さなゲインを提供する。
論文 参考訳（メタデータ） (2023-06-21T20:47:23Z) - Some like it tough: Improving model generalization via progressively
increasing the training difficulty [3.04585143845864]
本稿では,ニューラルネットワークモデル学習における学習難度を,新たな戦略により徐々に向上させることを提案する。
この戦略は、後のトレーニング段階で、より難しいサンプルに集中することを確実にします。
いくつかの画像分類問題に対する実験は、ミニバッチトリミングが一般化能力を高めることを示している。
論文 参考訳（メタデータ） (2021-10-25T15:54:21Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - Improving Semantic Segmentation via Self-Training [75.07114899941095]
半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。
まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。
私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
論文 参考訳（メタデータ） (2020-04-30T17:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。