Hard Vision, Easy Vision: What GPT-6 Astra Reveals Across Computer Vision
Abstractの概要
本論文では、GPT-6 Astraを含む6つの最先端汎用AIシステムを対象に、コンピュータビジョンの9つの領域にわたる34の能力および55のベンチマークで評価を行っています。本研究はこれらのモデルを専用の専門家システムや人間の基準と比較することで、どの視覚的能力が汎用インターフェースを通じて利用可能になりつつあり、どこに重大なギャップが残されているかを明らかにしています。検証結果から、最先端モデルは意味解釈、視覚的読解、推論、および物体中心の予測タスクで優れた性能を発揮することが示されました。一方で、計量幾何学的な精度、忠実な再構成、時間的一貫性のある密な予測、あるいは高度なドメイン専門知識を必要とするタスクにおいては、依然として性能が未成熟であることが明らかになっています。
新規性
本論文は、専門モデルおよび人間のベースラインと比較しながら、34の能力と55のベンチマークにわたり最先端の汎用ビジョンモデルを網羅的かつ大局的に評価した点に新規性があります。また、タスク間における能力の成熟度を体系的に分析し、追加の推論や専門ツールの活用が性能とコストに与える影響についても調査しています。
成果
GPT-6 Astraは評価対象モデルの中で最も幅広い視覚能力を示し、視覚的・空間的推論や検出・セグメンテーションなどの構造化予測タスクにおいて他の汎用モデルを大幅に上回りました。汎用モデルは、OCR、文書理解、2D位置特定、物体中心の3Dビジュアルグラウンディングにおいて専門モデルの基準に迫るか、それを上回る結果を示しています。対照的に、計量深度再構成、忠実な画像復元、専用モデルと比較した密な動画セグメンテーション、および詳細な病理認識においては、すべての汎用モデルで依然として大きなギャップが存在しています。
論文の注目点
- 最先端の汎用モデルは意味解釈、視覚的読解、物体中心のタスクで高い性能を発揮し、OCRや文書・図表の理解においては一貫して人間の基準を満たすかそれを上回っている。
- GPT-6 Astraは、視覚的・空間的推論ならびに2D検出、画像・動画セグメンテーション、3Dビジュアルグラウンディングなどの構造化予測タスクにおいて、他の汎用モデルをリードしている。
- 計量幾何学的再構成、忠実な画像復元、時間的一貫性のある密な予測、詳細な病理分類など、正確な知覚的忠実度や専門的な専門知識を要するタスクでは依然として顕著な性能差が残されている。
参考リンク
- arXiv: https://arxiv.org/abs/2609.35718v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2609.35718v1
- Hugging Face Papers: https://huggingface.co/papers/2609.35718
- GitHub: https://github.com/mbzuai-oryx/frontier-vision
- Project: https://mbzuai-oryx.github.io/frontier-vision