論文の概要: CAPTOR: text-encoder-free grounding by counting caption co-occurrence over the visual words of a frozen encoder
- arxiv url: http://arxiv.org/abs/2611.05599v1
- Date: Tue, 03 Nov 2026 20:38:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.845014
- Title: CAPTOR: text-encoder-free grounding by counting caption co-occurrence over the visual words of a frozen encoder
- Title(参考訳): CAPTOR:冷凍エンコーダの視覚的単語に対するキャプション共起のカウントによるテキストエンコーダフリーグラウンドディング
- Abstract要約: Caption-Anchored Patch-Term Occurrence Representationはテキストエンコーダなしで行列を推定する。
凍結した画像エンコーダのパッチトークンを視覚的な単語に集約し、各単語のパッチの共有によって各キャプションされたイメージを記述する。
保持された乳がんスライドでは、0.160 mIoUの病理テキストエンコーダで最強のベースラインスコアパッチを超える。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Grounding a text query in an image needs a matrix scoring every term against every patch. Vision-language models compute it with an aligned text encoder, which many image encoders, such as histopathology-related models trained on slides alone, lack. The Caption-Anchored Patch-Term Occurrence Representation (CAPTOR) estimates the matrix without a text encoder. It clusters a frozen image encoder's patch tokens into visual words and describes each captioned image by its share of patches in each word. A term signature is the standardized difference of those shares between images whose captions mention the term and the rest. The matrix factorizes into a term-by-word table and a query-independent image factor, so an image is encoded once and a new term adds one table row. Against every training-free baseline, CAPTOR leads on Common Objects in Context (COCO), Pascal Visual Object Classes (VOC) and Cityscapes. On COCO, scored on the cells one object owns, it reaches 0.565 mean intersection over union (mIoU) against 0.502. On all three, it is also level with a text alignment trained on the same backbone, which needs gradients, a text encoder and several times the captions. On held-out breast-cancer slides, it exceeds the strongest baseline scoring patches with a pathology text encoder by 0.160 mIoU. Read through CAPTOR, UNI, an encoder trained on slides alone, exceeds such baselines by 0.132 on a common grid. Counting can therefore give a text interface to any image encoder trained without language, wherever captioned images exist.
- Abstract(参考訳): イメージ内のテキストクエリをグラウンディングするには、パッチ毎に各項をスコアリングするマトリックスが必要です。
視覚言語モデルは、スライドだけで訓練された病理学関連モデルのような多くの画像エンコーダが欠落している整列テキストエンコーダでそれを計算する。
Caption-Anchored Patch-Term Occurrence Representation (CAPTOR) はテキストエンコーダなしで行列を推定する。
凍結した画像エンコーダのパッチトークンを視覚的な単語に集約し、各単語のパッチの共有によって各キャプションされたイメージを記述する。
用語シグネチャとは、字幕が単語を言及している画像と残りの画像との共有の標準化された相違である。
行列は用語単位のテーブルとクエリ非依存のイメージファクタに分解されるので、画像を一度エンコードし、新しい用語はテーブル行を1つ追加する。
すべてのトレーニング不要のベースラインに対して、CAPTORはCommon Objects in Context (COCO)、Pascal Visual Object Classes (VOC)、Cityscapesをリードする。
COCOでは、1つのオブジェクトが所有する細胞にスコアを付け、0.565の平均的な結合(mIoU)と0.502との交差点に達する。
3つすべてで、同じバックボーン上でトレーニングされたテキストアライメント、グラデーション、テキストエンコーダ、キャプションの何回かが必要になる。
保持された乳がんスライドでは、0.160 mIoUの病理テキストエンコーダで最強のベースラインスコアパッチを超える。
スライドだけでトレーニングされたエンコーダであるCAPTORを読めば、共通のグリッド上で0.132以上のベースラインを達成できる。
したがって、カウントは、キャプションされた画像が存在する場合であっても、言語なしで訓練された任意の画像エンコーダにテキストインターフェースを与えることができる。
関連論文リスト
- Unleashing Text-to-Image Diffusion Prior for Zero-Shot Image Captioning [70.98890307376548]
そこで本研究では,学習中に不信なコンテンツを適応的に緩和する,新しいPatch-wise Cross-modal Feature Mix-up(PCM)機構を提案する。
私たちのPCM-Netは、ドメイン内およびクロスドメインのゼロショット画像キャプションの両方で第1位です。
論文 参考訳(メタデータ) (2024-12-31T13:39:08Z) - Visual Language Pretrained Multiple Instance Zero-Shot Transfer for
Histopathology Images [8.612889476601822]
我々は,ギガピクセルの病理組織像全体に対して,コントラスト整列画像とテキストモデルのゼロショット転送能力を開放するフレームワークMI-Zeroを提案する。
MI-Zeroは、複数のインスタンス学習の枠組みの下でゼロショット転送を再構成し、非常に大きな画像に対する推論の計算課題を克服する。
論文 参考訳(メタデータ) (2023-06-13T15:05:24Z) - CoBIT: A Contrastive Bi-directional Image-Text Generation Model [72.1700346308106]
CoBITは、新しいユニコーダ・デコーダ構造を採用しており、これは1つのフレームワークで3つの事前学習対象を統一しようとするものである。
CoBITは画像理解、画像テキスト理解(検索、キャプション、VQA、SNLI-VE)、テキストベースのコンテンツ生成、特にゼロショットシナリオにおいて優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-03-23T17:24:31Z) - DeCap: Decoding CLIP Latents for Zero-Shot Captioning via Text-Only
Training [73.74291217502928]
ゼロショットキャプションのための単純なフレームワークであるDeCapを提案する。
軽量な視覚認識言語デコーダを提案する。
視覚的な埋め込みはCLIPテキスト埋め込み空間に投影するが、投影された埋め込みは視覚的な入力の情報を保持する。
論文 参考訳(メタデータ) (2023-03-06T11:02:47Z) - CLIP-ReID: Exploiting Vision-Language Model for Image Re-Identification
without Concrete Text Labels [28.42405456691034]
本稿では,画像再識別作業における視覚的表現の改善を目的とした2段階戦略を提案する。
鍵となるアイデアは、各IDの学習可能なテキストトークンセットを通じて、CLIPのクロスモーダル記述能力をフル活用することだ。
提案手法の有効性は、人や車両のReIDタスクのための複数のデータセット上で検証される。
論文 参考訳(メタデータ) (2022-11-25T09:41:57Z) - Exploring Discrete Diffusion Models for Image Captioning [104.69608826164216]
DDCapと呼ばれる拡散型キャプションモデルを提案する。
本稿では,ベストファースト推論,集中注意マスク,テキスト長予測,画像のないトレーニングなど,いくつかの重要な手法を提案する。
4Mビジョン言語による事前学習画像とベースサイズのモデルを用いて,COCO上のCIDErスコア125.1に達する。
論文 参考訳(メタデータ) (2022-11-21T18:12:53Z) - Fine-grained Image Captioning with CLIP Reward [104.71533106301598]
ウェブから大量の画像テキストペアをトレーニングしたマルチモーダルエンコーダであるCLIPを用いて、マルチモーダル類似性を計算し、報酬関数として利用する。
また、追加のテキストアノテーションを必要としない文法を改善するために、CLIPテキストエンコーダの簡単な微調整戦略を提案する。
テキスト・ツー・イメージ検索とFineCapEvalの実験において、提案したCLIP誘導モデルは、CIDEr最適化モデルよりも顕著なキャプションを生成する。
論文 参考訳(メタデータ) (2022-05-26T02:46:09Z) - CoCa: Contrastive Captioners are Image-Text Foundation Models [41.759438751996505]
Contrastive Captioner (CoCa) は、画像テキストエンコーダ/デコーダの基礎モデルを事前訓練するための最小限の設計である。
同じ計算グラフを共有することで、2つのトレーニング目標を最小限のオーバーヘッドで効率的に計算する。
CoCaは、幅広い下流タスクに対するゼロショット転送または最小限のタスク特化で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-05-04T07:01:14Z) - Bangla Image Caption Generation through CNN-Transformer based
Encoder-Decoder Network [0.5260346080244567]
本稿では,ResNet-101モデル画像エンコーダによる画像の特徴抽出のためのアテンション機構を備えた新しいトランスフォーマーアーキテクチャを提案する。
実験により,本手法の言語デコーダはキャプション内の微細な情報をキャプチャし,画像特徴と組み合わせることで,正確かつ多様なキャプションを生成する。
論文 参考訳(メタデータ) (2021-10-24T13:33:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。