論文の概要: GUICrafter: Weakly-Supervised GUI Agent Leveraging Massive Unannotated Screenshots

• arxiv url: http://arxiv.org/abs/2606.29705v1
• Date: Mon, 29 Jun 2026 02:16:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.020783
• Title: GUICrafter: Weakly-Supervised GUI Agent Leveraging Massive Unannotated Screenshots
• Title（参考訳）: GUICrafter:大量の未発表のスクリーンショットをレバレッジする、微妙に監督されたGUIエージェント
• Abstract要約: 現在のGUIエージェントは、細粒度のGUI要素に対して、クロスデバイス一般化の貧弱さと限られた視覚的グラウンド化能力に悩まされている。 そこで我々は,GUICrafterを提案する。GUICrafterは,高額な人的アノテーションへの依存を著しく軽減するために,大量の無注釈スクリーンショットを活用するGUIエージェントである。 実験によると、GUICrafterはUI-TARSのような先進的なシステムに対して、そのデータのわずか0.1%しか使用せず、競争力、あるいは優れたパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 34.48924709091103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data, as the fundamental substrate of modern intelligence, has greatly driven the development of current foundation models. Naturally, researchers aim to extend this paradigm to the domain of GUI agents, hoping to build strong GUI agents through a similar paradigm. However, GUI agent data cannot be directly harvested from the internet, making it costly and difficult to collect at scale. As a result, current GUI agents suffer from poor cross-device generalization and limited visual grounding ability for fine-grained GUI elements. As an attempt to address data challenge in GUI agents, we propose GUICrafter, a weakly-supervised GUI agent leveraging massive unannotated screenshots to substantially reduce the reliance on expensive human annotations. GUICrafter explores a curriculum learning framework for training GUI agents through two progressive stages. First, the model learns visual grounding from large-scale unannotated screenshots and webpages, leveraging the rich contextual signals inherent in GUI interactions without human annotations. Then, in Stage 2, we leverage a small amount of high-quality data to calibrate the model via reinforcement learning. Experiments show that GUICrafter achieves competitive, or even superior, performance to advanced systems like UI-TARS while using only 0.1% of its data. Furthermore, under the same amount of annotated data, GUICrafter surpasses all previous methods such as GUI-R1. Code, data, and models are available at https://github.com/fansunqi/GUICrafter.
• Abstract（参考訳）: データは現代のインテリジェンスの基本基盤として、現在の基盤モデルの開発を大いに推進してきた。 研究者は当然、このパラダイムをGUIエージェントのドメインに拡張し、同様のパラダイムで強力なGUIエージェントを構築したいと考えている。 しかし,GUIエージェントのデータを直接インターネットから収集することはできないため,大規模に収集することは困難である。 結果として、現在のGUIエージェントは、細粒度のGUI要素に対して、クロスデバイス一般化の貧弱さと限られた視覚的グラウンド化能力に悩まされている。 GUIエージェントにおけるデータ課題に対処するため,GUICrafterを提案する。 GUICrafterは、2つの段階を通じてGUIエージェントをトレーニングするためのカリキュラム学習フレームワークを探索する。 まず、大規模な未注釈スクリーンショットとWebページから視覚的グラウンドを学習し、人間のアノテーションを使わずにGUIインタラクションに固有のリッチなコンテキスト信号を活用する。 そして、ステージ2では、少量の高品質なデータを活用して、強化学習を用いてモデルを校正する。 実験によると、GUICrafterはUI-TARSのような先進的なシステムに対して、そのデータのわずか0.1%しか使用せず、競争力、あるいは優れたパフォーマンスを達成する。 さらに、同じ量のアノテートデータの下で、GUICrafterはGUI-R1のような以前のメソッドをすべて上回っている。 コード、データ、モデルはhttps://github.com/fansunqi/GUICrafter.comで入手できる。

関連論文リスト

• GUI-CIDER: Mid-training GUI Agents via Causal Internalization and Density-aware Exemplar Reselection [26.58169185548789]
  既存のソリューションは、高価なマルチエージェントの足場や従来のポストトレーニングパラダイムに依存している。 本稿では,GUIの世界知識を因果的内在化と密度認識による模範的再選択によって明示的に内部化する中級学習手法であるGUI-CIDERを提案する。 2つのGUI知識ベンチマークと3つのタスク補完ベンチマークの実験により、GUI-CIDERはエージェントのGUI操作に対する理解とタスク成功率の両方を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-05-27T14:29:41Z)
• ZeroGUI: Automating Online GUI Learning at Zero Human Cost [75.21128388931945]
  我々は、ZeroGUIを提案する。ZeroGUIは、Zeroの人的コストでGUIエージェントのトレーニングを自動化する、スケーラブルでオンライン学習フレームワークである。 具体的には、(i)VLMベースの自動タスク生成を統合して、現在の環境状態から多様なトレーニング目標を生成するとともに、(ii)手作り評価機能なしでタスク成功を評価するためのVLMベースの自動報酬推定と、(iii)GUI環境と継続的に対話し学習するための2段階オンライン強化学習を統合する。
  論文  参考訳（メタデータ） (2025-05-29T17:59:51Z)
• GUI-Shift: Enhancing VLM-Based GUI Agents through Self-supervised Reinforcement Learning [21.964100514016504]
  GUIエージェントのための効果的なビジョンランゲージモデル(VLM)のトレーニングは通常、大規模な注釈付きデータセットに依存する。 本稿では,2つのGUI状態間の遷移を引き起こす初期動作を予測することで,VLMがGUIダイナミクスを学習する自己教師型逆動的タスクであるKステップGUIトランジションを紹介する。 本稿では,ルールベースの最適化とデータフィルタリングを組み合わせることで,VLM性能を向上させるための強化学習フレームワークであるGUI-Shiftを提案する。
  論文  参考訳（メタデータ） (2025-05-18T16:34:30Z)
• TongUI: Building Generalized GUI Agents by Learning from Multimodal Web Tutorials [70.06743063375121]
  リッチなマルチモーダルWebチュートリアルから学習し,汎用GUIエージェントを構築するTongUIフレームワークを提案する。 我々は、5つのオペレーティングシステムと200以上のアプリケーションにまたがる143Kトラジェクトリデータを含むGUI-Netデータセットを作成する。 我々はGUI-Net上でQwen2.5-VL-3B/7Bモデルを微調整してTongUIエージェントを開発する。
  論文  参考訳（メタデータ） (2025-04-17T06:15:56Z)
• GUI-Bee: Align GUI Action Grounding to Novel Environments via Autonomous Exploration [56.58744345634623]
  MLLMをベースとした自律エージェントGUI-Beeを提案する。 NovelScreenSpotも導入しています。これはGUIアクショングラウンドモデルと新しい環境との整合性をテストするためのベンチマークです。
  論文  参考訳（メタデータ） (2025-01-23T18:16:21Z)
• Falcon-UI: Understanding GUI Before Following User Instructions [57.67308498231232]
  インテリジェンスフリーなGUIナビゲーションデータセットであるInsight-UIデータセットを導入し、GUI環境のモデル理解を強化する。 Insight-UIデータセットはCommon Crawlコーパスから自動的に生成され、さまざまなプラットフォームをシミュレートする。 我々は、最初Insight-UIデータセットで事前訓練され、その後AndroidおよびWeb GUIデータセットで微調整されたGUIエージェントモデルFalcon-UIを開発した。
  論文  参考訳（メタデータ） (2024-12-12T15:29:36Z)
• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents [20.08996257335876]
  環境を視覚的に完全に認識し,GUI上でピクセルレベルの操作を直接実行する,GUIエージェントのためのヒューマンライクなエボディメントを提唱する。 これまでに10MのGUI要素と参照式を1.3Mのスクリーンショット上に収めた、GUIの視覚的接地のための最大のデータセットを収集しました。 ウェブベースの合成データとLLaVAアーキテクチャの若干の適応を含む簡単なレシピは、このような視覚的接地モデルのトレーニングに驚くほど効果的であることを示す。
  論文  参考訳（メタデータ） (2024-10-07T17:47:50Z)
• GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
  GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。 まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。 次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
  論文  参考訳（メタデータ） (2024-06-17T08:30:55Z)
• SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents [17.43878828389188]
  タスク自動化のためのスクリーンショットのみに依存する新しいビジュアルグラフィカルユーザインタフェース(GUI)エージェントであるSeeClickを提案する。 この課題に対処するため,GUIグラウンディングによるSeeClickの改良を提案し,GUIグラウンディングデータのキュレーションを自動化する手法を考案した。 また、モバイル、デスクトップ、Web環境を含む初めての現実的なGUIグラウンドティングベンチマークであるScreenSpotも作成しました。
  論文  参考訳（メタデータ） (2024-01-17T08:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。