論文の概要: Text-promptable Object Counting via Quantity Awareness Enhancement

• arxiv url: http://arxiv.org/abs/2507.06679v1
• Date: Wed, 09 Jul 2025 09:12:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.537562
• Title: Text-promptable Object Counting via Quantity Awareness Enhancement
• Title（参考訳）: 量認識によるテキストプロンプト可能なオブジェクトカウント
• Authors: Miaojing Shi, Xiaowen Zhang, Zijie Yue, Yong Luo, Cairong Zhao, Li Li,
• Abstract要約: 本稿では,新しい量指向テキストプロンプトを視覚テキスト量アライメント損失で導入し,モデルの量意識を高める QUANet を提案する。 また、密度マップ予測のために、Transformerストリーム、CNNストリーム、およびTransformer-to-CNN拡張アダプタ(T2C-adapters)で構成されるデュアルストリーム適応カウントデコーダを提案する。
• 参考スコア（独自算出の注目度）: 25.373573431911687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large vision-language models (VLMs) have shown remarkable progress in solving the text-promptable object counting problem. Representative methods typically specify text prompts with object category information in images. This however is insufficient for training the model to accurately distinguish the number of objects in the counting task. To this end, we propose QUANet, which introduces novel quantity-oriented text prompts with a vision-text quantity alignment loss to enhance the model's quantity awareness. Moreover, we propose a dual-stream adaptive counting decoder consisting of a Transformer stream, a CNN stream, and a number of Transformer-to-CNN enhancement adapters (T2C-adapters) for density map prediction. The T2C-adapters facilitate the effective knowledge communication and aggregation between the Transformer and CNN streams. A cross-stream quantity ranking loss is proposed in the end to optimize the ranking orders of predictions from the two streams. Extensive experiments on standard benchmarks such as FSC-147, CARPK, PUCPR+, and ShanghaiTech demonstrate our model's strong generalizability for zero-shot class-agnostic counting. Code is available at https://github.com/viscom-tongji/QUANet
• Abstract（参考訳）: 大規模視覚言語モデル (VLM) の最近の進歩は、テキスト・プロンプタブル・オブジェクトカウント問題(英語版)の解決において顕著な進歩を見せている。 代表的な方法は、画像内のオブジェクトカテゴリ情報でテキストプロンプトを指定するのが一般的である。 しかし、これは、カウントタスクにおけるオブジェクトの数を正確に識別するモデルを訓練するには不十分である。 そこで本研究では,新しい量指向テキストプロンプトを視覚テキスト量アライメント損失で導入し,モデルの量意識を高める QUANet を提案する。 さらに、密度マップ予測のためのTransformerストリーム、CNNストリーム、およびTransformer-to-CNN拡張アダプタ(T2C-adapters)で構成されるデュアルストリーム適応カウントデコーダを提案する。 T2Cアダプタは、TransformerとCNNストリーム間の効果的な知識コミュニケーションと集約を容易にする。 最後に、2つのストリームからの予測のランク付け順序を最適化するために、ストリーム間のランク付け損失を提案する。 FSC-147, CARPK, PUCPR+, ShanghaiTech などの標準ベンチマークに対する大規模な実験は、ゼロショットクラス非依存カウントに対する我々のモデルの強い一般化性を実証している。 コードはhttps://github.com/viscom-tongji/QUANetで入手できる。

関連論文リスト

• T2ICount: Enhancing Cross-modal Understanding for Zero-Shot Counting [20.21019748095159]
  ゼロショットオブジェクトカウントは、テキスト記述によって指定された任意のオブジェクトカテゴリのインスタンスをカウントすることを目的としている。 我々は、事前学習した拡散モデルから、豊富な事前知識ときめ細かい視覚的理解を活用する拡散に基づくフレームワークT2ICountを提案する。
  論文  参考訳（メタデータ） (2025-02-28T01:09:18Z)
• VQ-CTAP: Cross-Modal Fine-Grained Sequence Representation Learning for Speech Processing [81.32613443072441]
  テキスト音声(TTS)、音声変換(VC)、自動音声認識(ASR)などのタスクでは、クロスモーダルな粒度(フレームレベル)シーケンス表現が望まれる。 本稿では,テキストと音声を共同空間に組み込むために,クロスモーダルシーケンストランスコーダを用いた量子コントラスト・トーケン・音響事前学習(VQ-CTAP)手法を提案する。
  論文  参考訳（メタデータ） (2024-08-11T12:24:23Z)
• Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation [72.90144343056227]
  ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。 固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。 我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
  論文  参考訳（メタデータ） (2024-03-18T17:59:58Z)
• Cascaded Cross-Modal Transformer for Audio-Textual Classification [30.643750999989233]
  本稿では,自動音声認識(ASR)モデルを用いた音声の書き起こしにより,マルチモーダル表現の固有値を活用することを提案する。 これにより、各データサンプルに対する音声テキスト(マルチモーダル)表現が得られる。 我々は、ACM Multimedia 2023 Computational Paralinguistics Challenge の Requests Sub-Challenge において、勝利のソリューションであると宣言された。
  論文  参考訳（メタデータ） (2024-01-15T10:18:08Z)
• CLIP-Count: Towards Text-Guided Zero-Shot Object Counting [32.07271723717184]
  オープン語彙オブジェクトの密度マップをゼロショットで推定する,最初のエンドツーエンドパイプラインであるCLIP-Countを提案する。 テキスト埋め込みを濃密な視覚特徴と整合させるため、我々は、密集した予測のための情報的パッチレベルの視覚表現を学習するために、モデルを誘導するパッチテキストコントラスト損失を導入する。 本手法は,対象物に対する高品質な密度マップを効果的に生成する。
  論文  参考訳（メタデータ） (2023-05-12T08:19:39Z)
• Revisiting Classifier: Transferring Vision-Language Models for Video Recognition [102.93524173258487]
  ダウンストリームタスクのためのタスク非依存の深層モデルから知識を伝達することは、コンピュータビジョン研究において重要なトピックである。 本研究では,映像分類作業における知識の伝達に着目した。 予測された言語モデルを用いて、効率的な翻訳学習のための適切なセマンティックターゲットを生成する。
  論文  参考訳（メタデータ） (2022-07-04T10:00:47Z)
• Align and Prompt: Video-and-Language Pre-training with Entity Prompts [111.23364631136339]
  ビデオと言語による事前トレーニングは、様々なダウンストリームタスクに有望な改善を示している。 Align and Prompt: クロスモーダルアライメントを改良した,効率的かつ効果的なビデオ・言語事前学習フレームワークを提案する。 私たちのコードと事前訓練されたモデルはリリースされます。
  論文  参考訳（メタデータ） (2021-12-17T15:55:53Z)
• VLDeformer: Learning Visual-Semantic Embeddings by Vision-Language Transformer Decomposing [7.890230091463883]
  視覚言語変換器(VL変換器)は、クロスモーダル検索において顕著な精度を示している。 本稿では,単一の画像やテキストに対して,VL変換器を個別エンコーダとして変更するための新しい視覚言語変換器分解(VLDeformer)を提案する。
  論文  参考訳（メタデータ） (2021-10-20T09:00:51Z)
• TransCrowd: Weakly-Supervised Crowd Counting with Transformer [56.84516562735186]
  今回提案するTransCrowdは、Transformerに基づくシーケンス・ツー・カウントの観点から、監視の弱い群衆カウント問題を再構成する。 5つのベンチマークデータセットの実験は、提案されたTransCrowdが、弱い監視されたCNNベースのカウント方法すべてと比較して優れたパフォーマンスを達成することを示しています。
  論文  参考訳（メタデータ） (2021-04-19T08:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。