論文の概要: ZoomGain: Mining Global-to-Zoom Perception Gaps for Fine-Grained Visual Supervision
- arxiv url: http://arxiv.org/abs/2611.14076v1
- Date: Tue, 10 Nov 2026 13:38:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.823296
- Title: ZoomGain: Mining Global-to-Zoom Perception Gaps for Fine-Grained Visual Supervision
- Title(参考訳): ZoomGain:細粒度視覚スーパービジョンのためのグローバル・ツー・ズーム知覚ギャップのマイニング
- Abstract要約: ズームインのみで得られる視覚情報から全画像に関する質問を構築するパイプラインであるZoomGainを紹介する。
ズームされたビューの各回答を複数のモデルで検証し、各質問が全体像において曖昧なままであることを保証する。
9K ZoomGainサンプルのトレーニングは、我々の4B/9Bモデルの視覚知覚能力を大幅に改善します。
- 参考スコア(独自算出の注目度): 45.17567273550127
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-grained visual perception requires Vision-Language Models (VLMs) to locate and interpret subtle evidence within complex scenes. Constructing supervision for this ability is challenging: questions must have correct, unambiguous answers that depend on actual fine-grained visual details rather than coarse cues or language priors. Verifying these properties makes manual annotation labor-intensive and automatic generation difficult for models that themselves struggle with fine-grained perception. Yet the same models can often recognize such details once the region is zoomed in. We exploit this global-to-zoom perception gap and introduce ZoomGain, a data construction pipeline that constructs questions about the full image from visual information gained only by zooming in. It verifies each answer on the zoomed view with multiple models, ensures that each question remains unambiguous in the full image and cannot be answered from language priors, and specifically generates high-quality distractors for multiple-choice questions. With this pipeline and human-only screening (no manual QA editing), we build ZoomGainBench, a 1,000-question bilingual benchmark on which the best of 28 VLMs achieves only 61.08. Failure analysis reveals that models favor a particular type of distractor when answering multiple-choice questions incorrectly. Beyond evaluation, training on just 9K ZoomGain samples substantially improves the visual perception capabilities of our 4B/9B models, enabling them to outperform several hundred-billion-parameter models across various perception benchmarks. The trained 9B model achieves SoTA performance on several benchmarks, such as 90.25 on HR-Bench 4K. These results establish global-to-zoom perception gaps as a practical basis for scaling fine-grained visual supervision for both evaluation and training. Our code is available at https://github.com/inclusionAI/ZoomGain.
- Abstract(参考訳): 微粒な視覚知覚は、複雑なシーン内で微妙な証拠を見つけ、解釈するために視覚言語モデル(VLM)を必要とする。
質問には、粗い手がかりや言語よりも、実際のきめ細かい視覚的詳細に依存する、正確で曖昧な答えがなければならない。
これらの特性を検証することで、微粒な知覚に苦しむモデルに対して、手動のアノテーションが労働集約的で自動生成が困難になる。
しかし、同じモデルは、領域がズームインされると、しばしばそのような詳細を認識することができる。
このグローバル・ツー・ゾーンの知覚ギャップを利用して、ズームインのみで得られる視覚情報から全画像に関する質問を構築するデータ構築パイプラインZoomGainを導入する。
ズームされたビューの各回答を複数のモデルで検証し、各質問が完全なイメージの中で曖昧であり、言語先行から回答できないことを保証する。
このパイプラインと人間のみのスクリーニング(手動のQA編集は行わない)により、ZoomGainBenchを構築します。
フェール分析は、モデルが複数の質問に誤って答えるときに、特定の種類の気晴らしを好んでいることを示している。
評価以外にも、たった9K ZoomGainサンプルのトレーニングは、我々の4B/9Bモデルの視覚知覚能力を大幅に改善し、さまざまな知覚ベンチマークで数百億パラメータモデルを上回るパフォーマンスを実現した。
トレーニングされた9Bモデルは、HR-Bench 4Kの90.25など、いくつかのベンチマークでSoTAのパフォーマンスを達成する。
これらの結果は、評価とトレーニングの両方において、きめ細かい視覚的監督をスケールするための実践的基盤として、グローバル・ツー・ゾーンの知覚ギャップを確立している。
私たちのコードはhttps://github.com/inclusionAI/ZoomGainで利用可能です。
関連論文リスト
- VisualOverload: Probing Visual Understanding of VLMs in Really Dense Scenes [36.370533774426555]
2,720組の質問応答対からなる視覚的質問応答(VQA)ベンチマークであるVisualOverloadを提案する。
通常、地球近傍の画像理解に焦点を当てた以前のVQAデータセットとは異なり、VisualOverloadは、密集したシーンでシンプルで知識のない視覚タスクを実行するためにモデルに挑戦する。
37の試験モデルのうち最高のモデル(o3)でさえ、最も難しいテスト分割で19.6%、すべての質問で69.5%の精度しか達成できない。
論文 参考訳(メタデータ) (2025-09-29T18:00:25Z) - Prefilled responses enhance zero-shot detection of AI-generated images [2.6581858762749997]
我々は、AI生成画像のゼロショット検出のために、事前訓練された視覚言語モデル(VLM)を探索する。
人間の顔,物体,動物の合成画像を含む3つのベンチマークを用いて,VLMの性能を評価する。
特に「スタイルと合成アーティファクトを調べよう」というタスク対応のフレーズでVLM応答をプリフィルすると、3つの広く使われているオープンソースVLMのマクロF1スコアが最大24%向上する。
論文 参考訳(メタデータ) (2025-05-20T22:44:04Z) - Pushing Boundaries: Exploring Zero Shot Object Classification with Large
Multimodal Models [0.09264362806173355]
LLVA(Large Language and Vision Assistant Model)は、画像ベースのクエリと連動したリッチな会話体験をユーザに提供するモデルである。
本稿では,LMMについて一意に考察し,画像分類タスクの適応性について検討する。
我々の研究では、MNIST、Cats Vs. Dogs、Hymnoptera(Ants Vs. Bees)、Pox Vs. Non-Poxの皮膚画像からなる非伝統的なデータセットの4つの多様なデータセットのベンチマーク分析を含む。
論文 参考訳(メタデータ) (2023-12-30T03:19:54Z) - HallusionBench: An Advanced Diagnostic Suite for Entangled Language Hallucination and Visual Illusion in Large Vision-Language Models [69.52245481329899]
本稿では,画像コンテキスト推論評価のためのベンチマークであるHalusionBenchを紹介する。
このベンチマークは、1129の質問と組み合わせた346の画像で構成されており、すべて人間の専門家によって細心の注意を払って作成されている。
HallusionBenchの評価では、15種類のモデルをベンチマークし、最先端のGPT-4Vによって達成された31.42%の質問対精度を強調した。
論文 参考訳(メタデータ) (2023-10-23T04:49:09Z) - Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。
その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
論文 参考訳(メタデータ) (2023-10-09T16:57:57Z) - Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。
知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。
このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
論文 参考訳(メタデータ) (2023-05-23T07:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。