論文の概要: Vision-Language Grounding as Bidirectional Concept Correspondence
- arxiv url: http://arxiv.org/abs/2608.07886v1
- Date: Sat, 08 Aug 2026 03:26:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.547683
- Title: Vision-Language Grounding as Bidirectional Concept Correspondence
- Title（参考訳）: 双方向概念対応としての視覚言語接地
- Abstract要約: 視覚言語接地は、言語を視覚コンテンツに結びつける。
我々は、画像とテキストのペア上で、$textitbidirectional の概念対応としてグラウンドを定式化します。
我々は、事前訓練された視覚言語モデルの上に構築されたグラウンドモデルであるtextbfConCor-1$を紹介した。
- 参考スコア（独自算出の注目度）: 84.8022126995569
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Vision-language grounding connects language to visual content, yet most existing formulations reduce grounding to a unidirectional localization problem: given a prespecified text phrase or category name, identify the corresponding image region. This setup assumes that the relevant linguistic unit is already known, overlooking a more basic challenge in grounded communication: determining which parts of the text are visually referential and how they correspond to entities in the image. We formulate grounding as $\textit{bidirectional concept correspondence}$ over an image-text pair. Given an image and its paired text, the goal is to recover all correspondences between visually referential text spans and instance-level image segments, without assuming that the relevant text spans are provided. This formulation unifies common grounding tasks, including phrase grounding, referring expression grounding, and open-vocabulary detection, by treating text segmentation, image segmentation, and cross-modal alignment as a single correspondence prediction problem. To address this task, we introduce $\textbf{ConCor-1}$, a grounding model built on top of a pretrained vision-language model. It uses learnable $\textit{bridge tokens}$ to represent candidate image-text correspondences and predicts, for each token, a text mask, an image mask, and a correspondence presence score. To train and evaluate this task, we convert diverse grounding and segmentation datasets into a unified correspondence format. Experiments show that $\textbf{ConCor-1}$ consistently outperforms baselines, improving correspondence F1 by 48% on the long-caption dataset and by 29% on zero-shot LVIS, where the large category list serves as the text input.
- Abstract（参考訳）: 視覚言語接頭辞は言語を視覚コンテンツに結びつけるが、既存の定式化では一方向のローカライゼーションの問題への接頭辞を減らしている。
この設定は、テキストのどの部分が視覚的に参照されているか、そしてそれらが画像のエンティティとどのように対応するかという、基底的コミュニケーションにおけるより基本的な課題を見越して、関連言語単位が既に知られていることを前提としている。
画像とテキストのペアに対して$\textit{bidirectional concept correspondence}$としてグラウンドを定式化する。
画像とそのペアテキストが与えられた場合、目的は、関連テキストが提供されると仮定せずに、視覚的に参照されたテキストとインスタンスレベルの画像セグメントの間のすべての対応を復元することである。
この定式化は、テキストセグメンテーション、画像セグメンテーション、およびクロスモーダルアライメントを単一の対応予測問題として扱うことにより、フレーズグラウンド、参照表現グラウンド、オープンボキャブラリ検出などの共通グラウンドタスクを統一する。
この課題に対処するために、事前訓練された視覚言語モデルの上に構築されたグラウンドモデルである$\textbf{ConCor-1}$を導入する。
学習可能な$\textit{bridge tokens}$を使用して、候補画像-テキスト対応を表現し、各トークン、テキストマスク、イメージマスク、および対応プレゼンススコアを予測する。
このタスクをトレーニングし評価するために、多様なグラウンドとセグメンテーションデータセットを統一対応形式に変換する。
実験の結果、$\textbf{ConCor-1}$はベースラインを一貫して上回り、長大なデータセットではF1が48%、ゼロショットのLVISでは29%改善され、大きなカテゴリリストがテキスト入力として機能することがわかった。
関連論文リスト
- SemImage: Semantic Image Representation for Text, a Novel Framework for Embedding Disentangled Linguistic Features [0.0]
SemImageは、畳み込みニューラルネットワーク(CNN)によって処理される2次元のセマンティックイメージとしてテキスト文書を表現する新しい方法である。
SemImageでは、各単語は2D画像のピクセルとして表現される:行は文に対応し、追加の境界行は文間に挿入されて意味遷移を示す。
論文 参考訳（メタデータ） (2025-11-26T12:58:21Z) - UniModel: A Visual-Only Framework for Unified Multimodal Understanding and Generation [51.31795451147935]
本稿では,単一のピクセル間拡散フレームワーク内での視覚的理解と視覚的生成を支援する統合生成モデルを提案する。
私たちのゴールは、モデル、タスク、表現の3つの軸に沿った統一を達成することです。
画像間合成と画像間理解の実験は、強いモーダルアライメントを示す。
論文 参考訳（メタデータ） (2025-11-21T03:02:10Z) - Text Augmented Spatial-aware Zero-shot Referring Image Segmentation [60.84423786769453]
テキスト拡張空間認識(TAS)ゼロショット参照画像セグメンテーションフレームワークを提案する。
TASには、例レベルのマスク抽出のためのマスク提案ネットワーク、画像テキスト相関をマイニングするためのテキスト拡張ビジュアルテキストマッチングスコア、マスク後処理のための空間が含まれている。
提案手法は,最先端のゼロショット参照画像セグメンテーション法より明らかに優れている。
論文 参考訳（メタデータ） (2023-10-27T10:52:50Z) - Leveraging Unpaired Data for Vision-Language Generative Models via Cycle
Consistency [47.3163261953469]
現在の視覚言語生成モデルは、最適な性能と一般化能力を達成するために、ペア画像テキストデータの拡張コーパスに依存している。
サイクル整合性の概念に基づく革新的なトレーニングパラダイムであるITITを導入する。
ITITは、分離された画像とテキストデコーダを備えたジョイントな画像テキストエンコーダで構成され、単一のフレームワークで双方向の画像テキスト生成とテキスト画像生成を可能にする。
論文 参考訳（メタデータ） (2023-10-05T17:55:19Z) - Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。
既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。
我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
論文 参考訳（メタデータ） (2023-07-21T13:06:02Z) - Text-guided Image Restoration and Semantic Enhancement for Text-to-Image Person Retrieval [12.057465578064345]
テキスト・ツー・イメージ・パーソナリティ検索(TIPR)の目的は、与えられたテキスト記述に従って特定の人物画像を取得することである。
本稿では,人物画像と対応するテキスト間のきめ細かいインタラクションとアライメントを構築するための新しいTIPRフレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-18T08:23:46Z) - Text-based Person Search without Parallel Image-Text Data [52.63433741872629]
テキストベースの人物探索(TBPS)は,対象者の画像を与えられた自然言語記述に基づいて大きな画像ギャラリーから検索することを目的としている。
既存の手法は、並列画像テキストペアによるトレーニングモデルによって支配されており、収集には非常にコストがかかる。
本稿では,並列画像テキストデータなしでTBPSを探索する試みについて述べる。
論文 参考訳（メタデータ） (2023-05-22T12:13:08Z) - Locate Then Generate: Bridging Vision and Language with Bounding Box for
Scene-Text VQA [15.74007067413724]
STVQA(Scene Text Visual Question Answering)のための新しいフレームワークを提案する。
質問応答には画像中のシーンテキストを読む必要がある。
論文 参考訳（メタデータ） (2023-04-04T07:46:40Z) - Learning Object-Language Alignments for Open-Vocabulary Object Detection [83.09560814244524]
画像とテキストのペアデータから直接学習する新しいオープン語彙オブジェクト検出フレームワークを提案する。
これにより、画像とテキストのペア上でオープンな語彙オブジェクト検出器を、よりシンプルで効果的な方法で訓練することが可能になります。
論文 参考訳（メタデータ） (2022-11-27T14:47:31Z) - Visual Grounding Strategies for Text-Only Natural Language Processing [1.2183405753834562]
BERTのマルチモーダル拡張は、視覚的質問回答などのマルチモーダルタスクに最先端の結果をもたらすテキストと画像の共同モデリングを可能にします。
本稿では,マルチモーダル事前学習がテキスト処理精度を向上させる基礎となることを期待して,純粋にテキストタスクにマルチモーダルモデリングを利用する。
転送グラウンドと呼ばれる最初のタイプの戦略は、テキストのみのタスクにマルチモーダルモデルを適用し、プレースホルダーを使って画像入力を置き換える。
2つ目は「連想的接地」と呼ばれ、画像検索を利用してテキストと関連画像のマッチングを行う。
論文 参考訳（メタデータ） (2021-03-25T16:03:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。