論文の概要: PANORAMA: Panoptic Grounded Captioning via Mask Proposal Selection
- arxiv url: http://arxiv.org/abs/2609.19143v1
- Date: Wed, 16 Sep 2026 17:59:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.930708
- Title: PANORAMA: Panoptic Grounded Captioning via Mask Proposal Selection
- Title（参考訳）: PANORAMA:マスク提案選択による光学的接地キャプション
- Abstract要約: 現在のヴィジュアル言語モデル(VLM)は、流動的で詳細な画像キャプションを生成することができるが、画像ピクセルとそれらを確実に関連付けることは困難である。
本研究では,各参照句を画素レベルのマスクでグラウンド化しながら,前景オブジェクトと背景領域の両方をVLMで記述する作業であるパノプティカルグラウンドドキャプションを用いてこの問題を研究する。
実験により,提案手法は詳細なマス一貫性キャプションを維持しつつ,正確なエンティティレベルのセグメンテーションを生成することが示された。
- 参考スコア（独自算出の注目度）: 68.85590831564342
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Intelligent systems that act in the world require image understanding that is both comprehensive and spatially grounded. Current vision-language models (VLMs) can generate fluent and detailed image captions, but reliably associating them with image pixels remains challenging. Existing methods that combine dense captioning with pixel-level grounding often produce either incomplete descriptions or inaccurate segmentation masks. We study this problem through panoptic grounded captioning, a task that requires a VLM to describe both foreground objects and background regions while grounding each referring phrase with pixel-level masks. We make three contributions. First, we introduce PanoCaps, a human-annotated benchmark constructed from panoptic segmentation datasets. It provides dense captions with near-complete pixel coverage and image-text alignments at the entity level, supporting both training and evaluation. We further propose a phrase-mask matching protocol and a generalized Panoptic Quality (gPQ) metric that jointly evaluates textual and mask agreement. Second, we formulate phrase grounding as selection from a phrase-conditioned pool of mask proposals and introduce PANORAMA, a VLM that conditions a pretrained segmenter on contextualized phrase representations to obtain candidate masks and learns to select those corresponding to each phrase. Training this interface jointly with caption generation enables PANORAMA to produce high-quality masks while allowing each phrase to refer to a single region or multiple instances. Third, PANORAMA achieves the best overall grounding on PanoCaps and matches or exceeds specialized models across several pixel-level grounding tasks. Experiments show that our method produces precise entity-level segmentations while maintaining detailed, mask-consistent captions. Code, data and models are available at https://www.di.ens.fr/willow/research/panorama/.
- Abstract（参考訳）: 世界で行動するインテリジェントなシステムは、包括的かつ空間的基盤を持つイメージ理解を必要とする。
現在のヴィジュアル言語モデル(VLM)は、流動的で詳細な画像キャプションを生成することができるが、画像ピクセルとそれらを確実に関連付けることは困難である。
密度の高いキャプションとピクセルレベルのグラウンドを組み合わせた既存の方法は、不完全な記述や不正確なセグメンテーションマスクを生成することが多い。
我々は,この問題を,画素レベルのマスクで各参照句を接地しながら,前景オブジェクトと背景領域の両方をVLMで記述する作業であるパン光学的接地キャプションを用いて研究する。
私たちは3つの貢献をします。
まず、汎視的セグメンテーションデータセットから構築された人手によるベンチマークであるPanoCapsを紹介する。
ほぼ完全なピクセルカバレッジとエンティティレベルでの画像テキストアライメントを備えた高密度キャプションを提供し、トレーニングと評価の両方をサポートする。
さらに,テキストとマスクの合意を共同で評価する,フレーズマスクマッチングプロトコルと一般化されたパノプティク品質(gPQ)メトリクスを提案する。
第二に、句条件付きマスキングのプールからの選択として句グラウンドを定式化し、文脈化されたフレーズ表現に事前訓練されたセグメンタを条件付け、候補マスクを取得し、各フレーズに対応するものを選択することを学習するVLMであるPANORAMAを導入する。
このインターフェースをキャプション生成と共同でトレーニングすることで、PANORAMAは高品質なマスクを生成でき、各フレーズは単一のリージョンや複数のインスタンスを参照することができる。
第3に、PANORAMAはPanoCapsの全体的な基盤を最高のものにし、複数のピクセルレベルのグラウンドタスクで特別なモデルにマッチまたは超えている。
実験により,提案手法は詳細なマス一貫性キャプションを維持しつつ,正確なエンティティレベルのセグメンテーションを生成することが示された。
コード、データ、モデルはhttps://www.di.ens.fr/willow/research/panorama/で入手できる。
関連論文リスト
- DenseWorld-1M: Towards Detailed Dense Grounded Caption in the Real World [68.39362698871503]
我々はDenseWorld-1Mを紹介した。
オープンワールド認識,詳細なオブジェクトキャプション生成,高密度キャプションマージを含む3段階ラベリングパイプラインを設計する。
ラベル付けプロセスの高速化とキャプション品質の向上を目的として, 詳細領域キャプションモデルと空間キャプションマージモデルという2つのVLMモデルを提案する。
論文 参考訳（メタデータ） (2025-06-30T17:51:25Z) - High-Quality Mask Tuning Matters for Open-Vocabulary Segmentation [109.19165503929992]
ここでは,CLIPのマスク分類能力を高めるために,生成されたマスクの代わりに接地トラスマスクを使用するMaskCLIP++を提案する。
低コストの微調整を経て、MaskCLIP++はマルチドメインデータセットのマスク分類性能を大幅に改善した。
我々は,A-847,PC-459,A-150,PC-59,PAS-20データセット上で+1.7,+2.3,+2.1,+3.1,+0.3 mIoUの性能改善を実現する。
論文 参考訳（メタデータ） (2024-12-16T05:44:45Z) - Osprey: Pixel Understanding with Visual Instruction Tuning [27.566931186080364]
Ospreyは、細かいマスク領域を言語命令に組み込むことでMLLMを拡張するマスクテキスト命令チューニング手法である。
この目的を達成するために、まず724Kサンプルを用いてマスクベースの領域テキストデータセットをキュレートし、次いでLLMにピクセルレベルの表現を注入して視覚言語モデルを設計する。
具体的には、Ospreyは、畳み込みCLIPバックボーンを視覚エンコーダとして採用し、高解像度入力から正確な視覚マスク特徴を抽出するためにマスク対応視覚抽出器を使用している。
論文 参考訳（メタデータ） (2023-12-15T18:58:11Z) - Zero-shot Referring Image Segmentation with Global-Local Context
Features [8.77461711080319]
参照画像セグメンテーション(RIS)は、入力画像の領域に接する参照表現を与えられたセグメンテーションマスクを見つけることを目的としている。
本稿では,CLIPから事前学習したクロスモーダル知識を利用した,シンプルで効果的なゼロショット参照画像セグメンテーション法を提案する。
実験では,提案手法は,タスクのゼロショットベースラインや,弱教師付き参照表現セグメンテーションにおいても,かなりのマージンで性能を向上する。
論文 参考訳（メタデータ） (2023-03-31T06:00:50Z) - CoupAlign: Coupling Word-Pixel with Sentence-Mask Alignments for
Referring Image Segmentation [104.5033800500497]
画像セグメント化の参照は、自然言語文で記述された視覚オブジェクトのすべてのピクセルをローカライズすることを目的としている。
以前の作業では、参照オブジェクトをハイライトするために、文章の埋め込みとピクセルレベルの埋め込みを簡単に調整することを学びました。
単純で効果的なマルチレベル視覚系列アライメント法であるCoupAlignを提案する。
論文 参考訳（メタデータ） (2022-12-04T08:53:42Z) - Leveraging per Image-Token Consistency for Vision-Language Pre-training [52.825150269820696]
クロスモーダルマスク言語モデリング(CMLM)は視覚言語事前学習には不十分である。
視覚言語事前学習のためのEPIC(Leveraging Per Image-Token Consistency)を提案する。
提案手法は, 事前学習法と容易に組み合わせることができる。
論文 参考訳（メタデータ） (2022-11-20T12:10:53Z) - Open-Vocabulary Instance Segmentation via Robust Cross-Modal
Pseudo-Labeling [61.03262873980619]
Open-vocabularyのインスタンスセグメンテーションは、マスクアノテーションなしで新しいクラスをセグメンテーションすることを目的としている。
本研究では,字幕内の単語の意味を画像中のオブジェクトマスクの視覚的特徴と整合させることで,擬似マスクの訓練を行うクロスモーダルな擬似ラベルフレームワークを提案する。
我々のフレームワークは、生徒の自己学習のための単語意味論を通じて、キャプションに新しいクラスをラベル付けすることができる。
論文 参考訳（メタデータ） (2021-11-24T18:50:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。