Invisible in Space, Visible in Time: Motion Vision CAPTCHA against GUI Agents
Abstractの概要
本論文では、動的に変化する背景から時間的に分離することによってのみ復元可能となる、運動によって定義された前景構造に対象の意味情報を隠蔽する階層型CAPTCHAフレームワークであるMotion Vision CAPTCHA（MVCAP）を提案しています。このフレームワークは、コヒーレント運動、構造的運動、生物学的運動という3つの知覚レベルで実装され、600個のライブインスタンスを含むブラウザベースのベンチマークであるMVCAP-Benchおよび対応する前景のみの対照ベンチマークによって評価されます。実験では人間、ブラウザベースのGUIエージェント、ネイティブなコンピュータ操作エージェント、同一インスタンスから導出されたオフラインVQA設定を比較しています。これらすべての設定において、人間がほぼ完璧にタスクを解決する一方で、現在のエージェントは動的カモフラージュ下で運動定義された意味情報を復元することに苦戦していることが示されています。
新規性
本研究の際立った貢献は、CAPTCHAの設計を空間的に解決可能な静的特徴から、単一フレーム内では意図的に不可視であり時間経過によってのみ意味が現れる運動定義知覚へと移行させた点です。また、動的な背景カモフラージュの影響を分離して評価するため、ブラウザベースのベンチマークとそれに対応する前景のみの対照ベンチマークを導入しています。
成果
完全なMVCAP-Benchにおいて人間は99.6%の精度を達成したのに対し、最良のBrowser Useエージェントでも6択のチャンスレベルに近い16.8%にとどまりました。MVCAP-Bench-FGで背景カモフラージュを除去するとエージェントの性能は大幅に向上し（例：GPT-5.4は61.7%に上昇）、動的背景カモフラージュが主要な困難要因であることが示されました。また、完全なベンチマークにおけるオフラインVQAの結果も依然として低く、この限界がブラウザの操作性のみに起因するものではないことが示唆されています。
論文の注目点
- MVCAPは、コヒーレント運動、構造的運動、生物学的運動の3つのレベルにわたり、テキスト、物体、行動の意味情報を運動定義された前景として符号化する。
- ベンチマーク設計には完全なブラウザベース設定と対応する前景のみの対照群が含まれ、カモフラージュ下での前景復元と前景認識の能力を分離して評価できる。
- 実証的証拠により、完全なベンチマークにおいて人間がほぼ完璧な精度を示す一方でエージェントはチャンスレベル付近にとどまり、両者の間に大きく一貫した格差が存在することが示された。