CaptchaAgent: Verifiable Visual Reasoning for CAPTCHA Solving
Abstractの概要
CaptchaAgentは、ページ観測とアクション予測の間に明示的な視覚的中間表現を挿入する、対話型CAPTCHA解決のための構造化視覚推論フレームワークです。スクリーンショットをクリックやドラッグに直接マッピングする代わりに、エンティティ、属性、空間的・位相的関係を記録するASCIIベースの表現を構築し、これを実行可能なブラウザアクションへとデコードします。さらに本システムは、曖昧な局所領域をより高い実効解像度で再検討し、タスクを保持する反事実的変換を通じて実行前に候補アクションを検証します。本論文では、オンラインのOpen CaptchaWorldタスクとオフラインのOedipus-dataベンチマークでこのコントローラーを評価し、性能と失敗モードの双方を検証しています。
新規性
本論文の主な特徴は、CAPTCHA解決においてオブジェクト数を確定させたASCII視覚中間表現を用い、局所的な証拠の精緻化とアクションレベルでの反事実的一貫性検証を組み合わせた点にあります。この設計は、直接的なエンドツーエンドのアクション予測や制約のない思考連鎖（Chain-of-Thought）推論ではなく、検査可能な中間シーン状態を重視しています。
成果
Open CaptchaWorldにおいて、CaptchaAgentはGPT-4.1、Gemini-2.5 Pro、Claude-3.7-Sonnet全体で、対応するBU-Agent構成と比較してPass@1を21.3〜25.8パーセントポイント向上させ、Gemini-2.5 Proでは46.8%に達しました。Oedipus-dataでは、3つの対応バックボーン全体で報告されたOedipusソルバーと比較して平均Pass@1を9.2〜12.3ポイント向上させました。アブレーション結果では、視覚的中間表現の削除が最も大きな性能低下を引き起こし、局所的な精緻化と一貫性チェックが相補的な追加の向上をもたらすことが示されています。
論文の注目点
- CaptchaAgentは、アクション生成の前にオブジェクト数、属性、関係性を確定させる明示的なASCII視覚中間表現にCAPTCHAシーンを変換する。
- 本手法は大域的な構造化パース、局所的な証拠の精緻化、タスクを保持する反事実的検証を組み合わせてアクションの信頼性を高める。
- 実験では対応するベースラインに対する一貫した向上が示された一方、正確なカウント、連続幾何学、順序通りの実行が依然として主な失敗要因であることが示されている。