論文の概要: CAPTCHA Solving for Native GUI Agents: Automated Reasoning-Action Data Generation and Self-Corrective Training

• arxiv url: http://arxiv.org/abs/2603.23559v1
• Date: Mon, 23 Mar 2026 23:35:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:10.938397
• Title: CAPTCHA Solving for Native GUI Agents: Automated Reasoning-Action Data Generation and Self-Corrective Training
• Title（参考訳）: ネイティブGUIエージェントのためのCAPTCHAソルビング:自動推論・アクションデータ生成と自己補正トレーニング
• Authors: Yuxi Chen, Haoyu Zhai, Chenkai Wang, Rui Yang, Lingming Zhang, Gang Wang, Huan Zhang,
• Abstract要約: ReCAPはCAPTCHA対応のネイティブGUIエージェントで、現代的なインタラクティブなCAPTCHA課題を堅牢に解決することができる。 我々は,大規模CAPTCHAインタラクショントラジェクトリを生成する自動データ収集とキュレーションパイプラインを開発した。 CAPTCHAの解法は、しばしば多段階の相互作用と中間ミスからの回復を必要とするため、失敗トラジェクトリを利用して自己補正データを構築する。 ホールドアウトテストセット全体で、ReCAPはCAPTCHA解決の成功を約30%から80%に改善し、一般的なGUIエージェントベンチマークでは高いパフォーマンスを維持している。
• 参考スコア（独自算出の注目度）: 18.35670595652216
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: GUI agents are rapidly shifting from multi-module pipelines to end-to-end, native vision-language models (VLMs) that perceive raw screenshots and directly interact with digital devices. Despite rapid progress on general GUI tasks, CAPTCHA solving remains a major challenge. On the other hand, although specialized CAPTCHA solving pipelines exist, they cannot handle general GUI tasks. To address this gap, we introduce ReCAP: a CAPTCHA-capable native GUI agent that can robustly solve modern, interactive CAPTCHA challenges, while preserving their performance as a general GUI agent. We first develop a dynamic CAPTCHA system spanning seven representative CAPTCHA types, designed to stress primitive and complementary capabilities for CAPTCHA solving (e.g., robust OCR under heavy noise and text stylization, fine-grained visual understanding, and precise control). Then, we develop an automated data collection and curation pipeline that generates large-scale CAPTCHA interaction trajectories paired with reasoning traces. As CAPTCHA solving often requires multi-step interaction and recovery from intermediate mistakes, we further leverage failed trajectories to construct self-correction data, training agents to reflect on errors and correct their actions online. Across held-out test sets, ReCAP improves CAPTCHA-solving success from roughly 30\% to 80\%, while maintaining strong performance on general GUI-agent benchmarks.
• Abstract（参考訳）: GUIエージェントは、マルチモジュールパイプラインから、生のスクリーンショットを認識し、デジタルデバイスと直接対話する、エンドツーエンドのネイティブビジョン言語モデル(VLM)へと、急速にシフトしている。 一般的なGUIタスクの急速な進歩にもかかわらず、CAPTCHA解決は依然として大きな課題である。 一方、特殊なCAPTCHA解決パイプラインは存在するが、一般的なGUIタスクは処理できない。 一般的なGUIエージェントとしての性能を維持しつつ,現代的な対話型CAPTCHA課題を堅牢に解決できるCAPTCHA対応ネイティブGUIエージェントであるReCAPを紹介した。 まず、7種類のCAPTCHA型にまたがる動的CAPTCHAシステムを開発し、CAPTCHA解法(例えば、高雑音・テキストスタイリング下での堅牢なOCR、きめ細かな視覚的理解、精密制御)のプリミティブと相補的能力を強調した。 そこで我々は,大規模CAPTCHAインタラクショントラジェクトリを推論トレースと組み合わせて生成する自動データ収集とキュレーションパイプラインを開発した。 CAPTCHAの解法は、しばしば多段階の相互作用と中間的誤りからの回復を必要とするため、失敗トラジェクトリを活用して自己補正データを構築し、エラーを反映し、オンラインで行動を修正するための訓練を行う。 ホールドアウトテストセット全体では、ReCAPはCAPTCHA解決の成功を約30\%から80\%に改善し、一般的なGUIエージェントベンチマークでは高いパフォーマンスを維持している。

関連論文リスト

• Next-Gen CAPTCHAs: Leveraging the Cognitive Gap for Scalable and Diverse GUI-Agent Defense [39.68941971572086]
  我々は次世代のWebを高度なエージェントに対してセキュアにするためのスケーラブルな防御フレームワークであるNext-Gen CAPTCHAを紹介する。 静的データセットとは異なり、我々のベンチマークは堅牢なデータ生成パイプラインの上に構築されています。 我々は、対話的知覚、記憶、意思決定、行動において、永続的な人間エージェント「認知ギャップ」を利用する。
  論文  参考訳（メタデータ） (2026-02-09T18:55:33Z)
• NGCaptcha: A CAPTCHA Bridging the Past and the Future [12.897322340526769]
  NGCAPTCHAは、軽量クライアントサイドの作業証明(PoW)機構とAI耐性の視覚認識課題を統合した次世代CAPTCHAフレームワークである。 NGCAPTCHAでは、ブラウザはまず、チャレンジを表示する前に、小さなハッシュベースのPoWを完了しなければならない。 PoWが解決されると、ユーザは人間フレンドリでモデルに耐性のある画像選択タスクを提示される。
  論文  参考訳（メタデータ） (2025-12-18T06:14:54Z)
• Aura-CAPTCHA: A Reinforcement Learning and GAN-Enhanced Multi-Modal CAPTCHA System [1.4305544869388402]
  Aura-CAPTCHAは、従来の手法の脆弱性に対処するマルチモーダルCAPTCHAシステムとして開発された。 この設計では、動的画像課題を生成するためのGAN(Generative Adrial Networks)、適応的難易度チューニングのための強化学習(RL)、テキストと音声のプロンプトを作成するための大規模言語モデル(LLM)を統合した。
  論文  参考訳（メタデータ） (2025-08-20T18:00:08Z)
• AgentCPM-GUI: Building Mobile-Use Agents with Reinforcement Fine-Tuning [82.42421823672954]
  AgentCPM-GUIは、堅牢で効率的なオンデバイスGUIインタラクションのために構築されている。 私たちのトレーニングパイプラインには、知覚を高めるためのグラウンドアウェア事前トレーニングが含まれています。 AgentCPM-GUIは5つの公開ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-06-02T07:30:29Z)
• Oedipus: LLM-enchanced Reasoning CAPTCHA Solver [17.074422329618212]
  OedipusはCAPTCHAの自動推論のための革新的なエンドツーエンドフレームワークである。 このフレームワークの中心は、複雑で人間に近いAIタスクを、シンプルでAIに近い一連のステップに分解する、新しい戦略である。 評価の結果,オエディプスはCAPTCHAを効果的に解決し,平均成功率は63.5%であった。
  論文  参考訳（メタデータ） (2024-05-13T06:32:57Z)
• CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
  MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。 包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。 AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-19T08:29:03Z)
• Robust Text CAPTCHAs Using Adversarial Examples [129.29523847765952]
  Robust Text CAPTCHA (RTC) という,ユーザフレンドリーなテキストベースのCAPTCHA生成法を提案する。 第1段階では、前景と背景はランダムにサンプルされたフォントと背景画像で構成される。 第2段階では、CAPTCHAの解法をより妨害するために、高転送可能な逆攻撃をテキストCAPTCHAに適用する。
  論文  参考訳（メタデータ） (2021-01-07T11:03:07Z)
• Deep-CAPTCHA: a deep learning based CAPTCHA solver for vulnerability assessment [1.027974860479791]
  本研究では,CAPTCHAジェネレータシステムの弱点と脆弱性について検討する。 この目的を達成するために,Deep-CAPTCHAと呼ばれる畳み込みニューラルネットワークを開発した。 我々のネットワークのクラック精度は、数値およびアルファ数値テストデータセットの98.94%と98.31%のハイレートにつながる。
  論文  参考訳（メタデータ） (2020-06-15T11:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。