論文の概要: A Simple Framework for Open-Vocabulary Zero-Shot Segmentation

• arxiv url: http://arxiv.org/abs/2406.16085v2
• Date: Mon, 1 Jul 2024 06:33:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 13:01:26.981478
• Title: A Simple Framework for Open-Vocabulary Zero-Shot Segmentation
• Title（参考訳）: Open-Vocabulary Zero-Shot Segmentationのための簡易フレームワーク
• Authors: Thomas Stegmüller, Tim Lebailly, Nikola Dukic, Behzad Bozorgtabar, Tinne Tuytelaars, Jean-Philippe Thiran,
• Abstract要約: SimZSSはオープン語彙のZero-Shotセグメンテーションのためのフレームワークである。 テキストと言語知識の離散的な性質を利用して、字幕内の局所的な概念をピンポイントする。 SimZSSは,8つのベンチマークデータセットのうち7つについて,15分以内で最先端の結果を達成している。
• 参考スコア（独自算出の注目度）: 36.01531912271202
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Zero-shot classification capabilities naturally arise in models trained within a vision-language contrastive framework. Despite their classification prowess, these models struggle in dense tasks like zero-shot open-vocabulary segmentation. This deficiency is often attributed to the absence of localization cues in captions and the intertwined nature of the learning process, which encompasses both image representation learning and cross-modality alignment. To tackle these issues, we propose SimZSS, a Simple framework for open-vocabulary Zero-Shot Segmentation. The method is founded on two key principles: i) leveraging frozen vision-only models that exhibit spatial awareness while exclusively aligning the text encoder and ii) exploiting the discrete nature of text and linguistic knowledge to pinpoint local concepts within captions. By capitalizing on the quality of the visual representations, our method requires only image-caption pairs datasets and adapts to both small curated and large-scale noisy datasets. When trained on COCO Captions across 8 GPUs, SimZSS achieves state-of-the-art results on 7 out of 8 benchmark datasets in less than 15 minutes.
• Abstract（参考訳）: ゼロショット分類機能は、視覚言語によるコントラストフレームワーク内で訓練されたモデルで自然に発生する。 分類の進歩にもかかわらず、これらのモデルはゼロショットの開語彙セグメンテーションのような密集したタスクに苦しむ。 この欠損は、キャプションにおける局所化の手がかりが欠如していることや、画像表現学習と相互モダリティアライメントの両方を含む学習過程の相互に絡み合った性質に起因していることが多い。 これらの課題に対処するため,オープン語彙ゼロショットセグメンテーションのためのシンプルなフレームワークであるSimZSSを提案する。 この方法は2つの鍵となる原則に基づいている。 一 テキストエンコーダを排他的に整合させながら、空間認識を示す凍結視覚のみのモデルを活用すること。 二 テキスト及び言語知識の個別の性質を利用して、字幕内の局所概念を特定すること。 視覚的表現の質を活かすことで、画像キャプチャーペアのデータセットのみを必要とし、小さなキュレートされた、大規模なノイズのあるデータセットに適応する。 8GPUにわたるCOCO Captionsのトレーニングを行うと、SimZSSは8つのベンチマークデータセットのうち7つの最先端の結果を15分以内で達成する。

関連論文リスト

• CLIP-SCGI: Synthesized Caption-Guided Inversion for Person Re-Identification [9.996589403019675]
  person re-identification (ReID) は Contrastive Language-Image Pre-Training (CLIP) のような大規模な事前訓練された視覚言語モデルの恩恵を受けている。 本稿では、既存の画像キャプションモデルを利用して人物画像の擬似キャプションを生成する方法を提案する。 CLIP-SCGI(CLIP-SCGI)は、合成キャプションを利用して、差別的・堅牢な表現の学習をガイドするフレームワークである。
  論文  参考訳（メタデータ） (2024-10-12T06:24:33Z)
• Mining Fine-Grained Image-Text Alignment for Zero-Shot Captioning via Text-Only Training [14.340740609933437]
  そこで本研究では,モダリティギャップを低減するために,テキストのみのトレーニングを施したゼロショット画像キャプションフレームワークを提案する。 特に,地域情報を活用するためのサブリージョン機能アグリゲーションを導入する。 フレームワークを拡張してゼロショットのVQAパイプラインを構築し、その汎用性を実証します。
  論文  参考訳（メタデータ） (2024-01-04T16:43:46Z)
• Grounding Everything: Emerging Localization Properties in Vision-Language Transformers [51.260510447308306]
  事前学習された視覚言語(VL)モデルでは、微調整なしでゼロショットのオープン語彙オブジェクトローカライゼーションが可能であることを示す。 本稿では,CLIPSurgeryが自己注意経路に導入した価値価値注意の考え方を一般化するグラウンドング・エコノミクス・モジュール(GEM)を提案する。 セマンティックセグメンテーションのための様々なベンチマークタスクとデータセットに基づいて提案したGEMフレームワークを評価する。
  論文  参考訳（メタデータ） (2023-12-01T19:06:12Z)
• SILC: Improving Vision Language Pretraining with Self-Distillation [113.50400246862056]
  本稿では,視覚言語事前学習のための新しいフレームワークであるSILCを紹介する。 SILCは、局所-言語対応学習を自己蒸留で簡単に追加することで、画像テキストのコントラスト学習を改善する。 指数移動平均(EMA)教師モデルから局所像の特徴を抽出することにより,検出やセグメンテーションといった密集した予測タスクにおけるモデル性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-10-20T08:44:47Z)
• Exploring Open-Vocabulary Semantic Segmentation without Human Labels [76.15862573035565]
  我々は、既存の事前学習された視覚言語モデル(VL)を利用して意味的セグメンテーションモデルを訓練するZeroSegを提案する。 ZeroSegは、VLモデルで学んだ視覚概念をセグメントトークンの集合に蒸留することでこれを克服し、それぞれが対象画像の局所化領域を要約する。 提案手法は,他のゼロショットセグメンテーション法と比較して,同じトレーニングデータを用いた場合と比較して,最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-01T08:47:06Z)
• Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion Models [44.17304848026688]
  ODISE: オープンボキャブラリ拡散に基づくパノプティカルセグメンテーションについて述べる。 事前訓練されたテキストイメージ拡散と識別モデルを統一し、オープン語彙セグメンテーションを実行する。 オープン・ボキャブラリ・パノプティクスとセマンティック・セグメンテーションの両タスクにおいて,従来の技術状況よりも優れていた。
  論文  参考訳（メタデータ） (2023-03-08T18:58:26Z)
• Cross-modal Representation Learning for Zero-shot Action Recognition [67.57406812235767]
  我々は、ゼロショット動作認識(ZSAR)のためのビデオデータとテキストラベルを共同で符号化するクロスモーダルトランスフォーマーベースのフレームワークを提案する。 我々のモデルは概念的に新しいパイプラインを使用し、視覚的表現と視覚的意味的関連をエンドツーエンドで学習する。 実験結果から,本モデルはZSARの芸術的状況に大きく改善され,UCF101,HMDB51,ActivityNetベンチマークデータセット上でトップ1の精度が向上した。
  論文  参考訳（メタデータ） (2022-05-03T17:39:27Z)
• A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model [61.58071099082296]
  オブジェクト検出やセマンティックセグメンテーションといった、より広範な視覚問題に対して、ゼロショット認識をどのようにうまく機能させるかは定かではない。 本稿では,既訓練の視覚言語モデルであるCLIPを用いて,ゼロショットセマンティックセマンティックセマンティックセマンティクスを構築することを目的とした。 実験結果から, この単純なフレームワークは, 従来の最先端をはるかに上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-12-29T18:56:18Z)
• Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision [57.031588264841]
  高価なフィルタリングや後処理のステップを使わずに得られる10億以上の画像アルトテキストペアのノイズの多いデータセットを活用します。 単純なデュアルエンコーダアーキテクチャは、画像とテキストペアの視覚的および言語的表現を、対照的な損失を使って整列させることを学ぶ。 コーパスのスケールはノイズを補うことができ、そのような単純な学習方式であっても最先端の表現に繋がることを示す。
  論文  参考訳（メタデータ） (2021-02-11T10:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。