論文の概要: ZoomCap: Evidence-Routed Visual Zooming for Recoverable Visual Information Transfer
- arxiv url: http://arxiv.org/abs/2610.21320v1
- Date: Thu, 15 Oct 2026 06:10:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.211838
- Title: ZoomCap: Evidence-Routed Visual Zooming for Recoverable Visual Information Transfer
- Title（参考訳）: ZoomCap: 回復可能なビジュアル情報転送のためのエビデンス制御されたビジュアルズーム
- Abstract要約: 視覚情報伝達として細粒度キャプションを定式化する。
ZoomCapは、条件付き知識検索、OCR対応読み出し、カバレッジギャップ回復、適応的な視覚ズームのためのドラフトキャプションを使用する。
また,2つのブラインドアンカーにキャプション由来の原子クレームをスコアするFactCycleを紹介した。
- 参考スコア（独自算出の注目度）: 30.116246813650495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Detailed captions transfer visual information into vision-language model supervision, but quality is easily conflated with length: long single-pass outputs still miss small objects, text, and spatial relations or promote uncertain observations into confident claims. We formulate fine-grained captioning as recoverable visual information transfer, in which a teacher acquires missing evidence under a finite observation budget and converts it into reusable supervision. ZoomCap uses a draft caption to route conditional knowledge retrieval, OCR-sensitive reading, coverage-gap recovery, and adaptive visual zooming, allocating deeper crops only to the most complex eligible region, deriving spatial relations from grounded geometry, and fusing non-duplicate evidence. We also introduce FactCycle, which scores caption-derived atomic claims on two blind anchors--source image (truthfulness) and reconstruction (realizability)--separating fabrication from generator loss claim by claim; human and multi-judge comparisons complement this fact-level view. Against Qwen3.5-397B-A17B captions, ZoomCap achieves an 81.9% human tie-adjusted preference score with a teacher over 10x smaller, and FactCycle counts 52.4 transferred claims per image vs. 31.5 for ScaleCap. The evidence also transfers: in continual pre-training, ZoomCap-450K improves the 11-benchmark average by 1.31-2.38 points over the strongest competing corpus and Ling-Tiny-VL-v3 gains 1.4 points on a production document/OCR monitor suite (1.5 on perception) at 60B tokens; in medical pre-training, 2.64M ZoomCap-captioned images improve five VQA benchmarks by 3.04 points (vs. 1.76 for same-image Gemini-3.1-Pro captions).
- Abstract（参考訳）: 詳細なキャプションは、視覚的な情報を視覚言語モデルに転送するが、品質は、長いシングルパス出力でも、小さなオブジェクト、テキスト、空間的関係を見逃したり、不確実な観察を確実なクレームへと促進したりする。
本研究では,教師が限られた観察予算の下で行方不明の証拠を入手し,再利用可能な監視に変換する視覚情報伝達として,きめ細かなキャプションを定式化する。
ZoomCapは、条件付き知識検索、OCR対応の読み出し、カバレッジギャップの回復、適応的な視覚ズーム、より深い作物を最も複雑な領域のみに割り当て、接地された幾何学から空間的関係を導き、非重複的な証拠を融合させるために、ドラフトキャプションを使用する。
また、FactCycleは、2つのブラインドアンカーの画像(真実性)と再構成(実現可能性)のキャプション由来の原子的クレームを、クレームによるジェネレータ損失クレームから分離し、このファクトレベルを補完する。
Qwen3.5-397B-A17Bのキャプションに対し、ZoomCapは81.9%の人間のタイ調整された好みスコアを達成し、教師は10倍以上小さく、FactCycleは画像当たりのクレームを52.4件、ScaleCapは31.5件と数えている。
ZoomCap-450Kは11ベンチマーク平均を最強の競合コーパスよりも1.31-2.38ポイント改善し、Ling-Tiny-VL-v3は60Bトークンのプロダクションドキュメント/OCRモニタースイート(1.5は知覚)で1.4ポイント向上した。
関連論文リスト
- Re$^3$Cap: Retrieval-Guided Refinement for Image Captioning Enhancement via Reinforcement Learning [13.794868838200465]
我々は,マルチモーダル検索がキャプションリファインメントの効果的な推論信号として機能すると主張している。
本稿では,検索誘導推論戦略であるRetrieval-Guided Refinement for Image Captioning (Re$3$Cap)を提案する。
論文 参考訳（メタデータ） (2026-08-21T17:07:41Z) - A Paragraph is Worth a Thousand Captions: Rethinking Text Supervision for Vision-Language Retrieval [3.213898015903824]
コントラッシブな画像テキスト検索のための単一字幕から多文節までの範囲の監督に関する体系的研究を行った。
Qwen2-VL と Llama 3.2 Vision をベースとした合成パイプラインを用いて,500K CC3M 画像に対して,多様なキャプション,強陰性,品質マーク付き段落を生成する。
段落教師付きモデルはShareGPT4V上でLong-CLIP-Lと一致し、画像からテキストへの検索においてDOCCIで14点以上向上した。
論文 参考訳（メタデータ） (2026-08-05T17:09:24Z) - CapRL++: Unified Reinforcement Learning with Verifiable Rewards for Dense Image and Video Captioning [86.9494763617273]
本稿では,Captioning Reinforcement Learning++ (CapRL++)を紹介した。
本稿では,CapRL++が高密度キャプション品質を向上し,空間的・時間的理解などのタスクにおけるキャプションベースの事前訓練を強化していることを示す。
論文 参考訳（メタデータ） (2026-06-08T12:09:20Z) - VCap: Hypergeometric Rewards for Weak-to-Strong Visual Captioning [57.588999592609646]
本稿では,参照キャプション(証人)と視覚信号(代弁者)とをペアにする,証人-代弁者報酬であるVCapを提案する。
VCapは、キャプションの品質検証のための超幾何分布レベルの精度を持つ報酬信号を提供する。
実験では,VCapでトレーニングした8Bモデルは,複数の画像およびビデオキャプションベンチマーク上で,オープンソースおよびクローズドソースSOTAモデルより優れていた。
論文 参考訳（メタデータ） (2026-05-27T06:27:04Z) - CapRL: Stimulating Dense Image Caption Capabilities via Reinforcement Learning [90.19455861166745]
本稿では,キャプションの品質を再定義するトレーニングフレームワークであるCaptioning Reinforcement Learning (CapRL)を紹介する。
主観的画像キャプションタスクにRLVRを適用した最初の研究として、CapRLは複数の設定を大幅に強化することを示した。
CapRLはQwen2.5-VL-72Bに匹敵する性能を達成し、ベースラインのマージンは平均8.4%を超えた。
論文 参考訳（メタデータ） (2025-09-26T17:59:55Z) - Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology [87.65242416688146]
TreeBenchは、ビジュアルグラウンド推論の診断ベンチマークである。
TreeVGRは、強化学習と共同でローカライゼーションと推論を監督する訓練パラダイムである。
論文 参考訳（メタデータ） (2025-07-10T17:59:58Z) - ScaleCap: Inference-Time Scalable Image Captioning via Dual-Modality Debiasing [128.8346376825612]
高品質画像キャプションの主な課題は、LVLMの固有のバイアスにある。
本稿では,キャプションを継続的に強化・校正し,推論予算を増大させる,スケーラブルなデバイアス付きキャプション戦略を提案する。
450KイメージにScaleCapをアノテートし、LVLMプレトレーニングに使用することで、11の広く使用されているベンチマークで一貫したパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2025-06-24T17:59:55Z) - Visual Fact Checker: Enabling High-Fidelity Detailed Caption Generation [34.45033554641476]
視覚的コンテンツの自動キャプション手法は、詳細の欠如、幻覚内容の欠如、後続の指示不足などの課題に直面している。
フレキシブルなトレーニングフリーパイプラインであるVisualFactChecker(VFC)を提案し、2次元画像と3次元オブジェクトの両方に対して高忠実かつ詳細なキャプションを生成する。
VFCは、1)画像からテキストへのキャプションモデルが複数の初期キャプションを提案する提案、2)大規模言語モデル(LLM)がオブジェクト検出やVQAモデルなどのツールを使用して提案されたキャプションをファクトチェックする検証の3段階で構成されている。
論文 参考訳（メタデータ） (2024-04-30T17:55:27Z) - Exploring Annotation-free Image Captioning with Retrieval-augmented Pseudo Sentence Generation [21.54093527562344]
本稿では,大規模事前学習モデル (LPM) からの事前知識を蒸留し, 監視として活用する新たな戦略を提案する。
具体的には,Retrieval-augmented Pseudo Sentence Generation (RaPSG)を導入する。
実験結果から,SOTAキャプションの精度は様々な設定で優れていた。
論文 参考訳（メタデータ） (2023-07-27T10:16:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。