論文の概要: Image-to-Image Matching via Foundation Models: A New Perspective for Open-Vocabulary Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2404.00262v1
• Date: Sat, 30 Mar 2024 06:29:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 04:40:03.648112
• Title: Image-to-Image Matching via Foundation Models: A New Perspective for Open-Vocabulary Semantic Segmentation
• Title（参考訳）: 基礎モデルによる画像間マッチング:オープン語彙セマンティックセマンティックセグメンテーションの新しい視点
• Authors: Yuan Wang, Rui Sun, Naisong Luo, Yuwen Pan, Tianzhu Zhang,
• Abstract要約: Open-vocabulary semantic segmentation (OVS)は、クラスラベルやキャプションによって指定された任意のカテゴリのイメージをセグメンテーションすることを目的としている。 過去のベストパフォーマンス手法は画像特徴とカテゴリラベルの誤一致に悩まされていた。 視覚基盤モデルに基づくOVSのための新しい関係認識型モーダルマッチングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 36.992698016947486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-vocabulary semantic segmentation (OVS) aims to segment images of arbitrary categories specified by class labels or captions. However, most previous best-performing methods, whether pixel grouping methods or region recognition methods, suffer from false matches between image features and category labels. We attribute this to the natural gap between the textual features and visual features. In this work, we rethink how to mitigate false matches from the perspective of image-to-image matching and propose a novel relation-aware intra-modal matching (RIM) framework for OVS based on visual foundation models. RIM achieves robust region classification by firstly constructing diverse image-modal reference features and then matching them with region features based on relation-aware ranking distribution. The proposed RIM enjoys several merits. First, the intra-modal reference features are better aligned, circumventing potential ambiguities that may arise in cross-modal matching. Second, the ranking-based matching process harnesses the structure information implicit in the inter-class relationships, making it more robust than comparing individually. Extensive experiments on three benchmarks demonstrate that RIM outperforms previous state-of-the-art methods by large margins, obtaining a lead of more than 10% in mIoU on PASCAL VOC benchmark.
• Abstract（参考訳）: Open-vocabulary semantic segmentation (OVS)は、クラスラベルやキャプションによって指定された任意のカテゴリのイメージをセグメンテーションすることを目的としている。 しかし、画素グループ化法や領域認識法など、これまでで最も優れた手法は、画像特徴とカテゴリラベルの誤一致に悩まされていた。 これは、テキストの特徴と視覚的特徴の間に自然のギャップがあるためである。 本稿では,画像と画像のマッチングの観点から,偽マッチングを緩和する方法を再考し,視覚基盤モデルに基づくOVSのための新しいリレーショナル・アウェア・イントラモーダルマッチング(RIM)フレームワークを提案する。 RIMは、まず、多様な画像モーダル参照機能を構築し、その後、関係性を考慮したランキング分布に基づく地域特徴とマッチングすることにより、堅牢な地域分類を実現する。 提案されたRIMはいくつかのメリットを享受している。 第一に、モーダル内参照機能はより整合性が高く、モーダル間マッチングで生じる可能性のある曖昧さを回避している。 第2に、ランキングベースのマッチングプロセスは、クラス間の関係において暗黙的に構造情報を利用するため、個別に比較するよりも堅牢である。 3つのベンチマークの大規模な実験により、RIMは従来の最先端の手法を大きなマージンで上回り、PASCAL VOCベンチマークでmIoUの10%以上をリードしている。

関連論文リスト

• Grounding Descriptions in Images informs Zero-Shot Visual Recognition [47.66166611138081]
  我々は,表現を細かなレベルと粗いレベルの両方で同時に調整することを目的とした,新しい事前学習戦略であるGRAINを提案する。 我々は,現在の最先端技術と比較して,モデルのゼロショット性能の向上を実証する。
  論文  参考訳（メタデータ） (2024-12-05T18:52:00Z)
• Visual-Text Cross Alignment: Refining the Similarity Score in Vision-Language Models [21.17975741743583]
  近年、CLIP(CLIP)のような事前訓練された視覚言語モデル(VLM)を用いて、クエリイメージ全体をより細かいテキスト記述と整合させることで、ゼロショットのパフォーマンスを著しく向上させることが発見されている。 本稿では, より詳細な記述は, 画像全体よりも, クエリ画像の局所的な領域とより効果的に整合する傾向があることを実証的に見出した。
  論文  参考訳（メタデータ） (2024-06-05T04:08:41Z)
• Vocabulary-free Image Classification and Semantic Segmentation [71.78089106671581]
  本稿では,Vocabulary-free Image Classification (VIC)タスクを導入する。これは,制約のない言語による意味空間から,既知の語彙を必要とせずに,入力画像にクラスを割り当てることを目的としている。 VICは、細かなカテゴリを含む数百万の概念を含む意味空間の広さのために、挑戦的である。 本稿では,事前学習された視覚言語モデルと外部データベースを利用した学習自由度手法CaSEDを提案する。
  論文  参考訳（メタデータ） (2024-04-16T19:27:21Z)
• Hierarchical Matching and Reasoning for Multi-Query Image Retrieval [113.44470784756308]
  マルチクエリ画像検索のための階層マッチング・推論ネットワーク(HMRN)を提案する。 MQIRを3つの階層的なセマンティック表現に分解し、きめ細かい局所的な詳細、文脈的グローバルスコープ、高レベルの固有の相関をキャプチャする責任を負う。 我々のHMRNは最先端の手法を大幅に上回っている。
  論文  参考訳（メタデータ） (2023-06-26T07:03:56Z)
• Target-oriented Sentiment Classification with Sequential Cross-modal Semantic Graph [27.77392307623526]
  マルチモーダル・アスペクトベース感情分類(マルチモーダル・アスペクトベース感情分類、英: Multi-modal aspect-based sentiment classification、MABSC)は、文と画像に言及された対象エンティティの感情を分類するタスクである。 以前の手法では、画像とテキストの微妙なセマンティックな関連を考慮できなかった。 本稿では,シーケンシャルなクロスモーダルなセマンティックグラフを用いたエンコーダ・デコーダの感情分類フレームワークであるSeqCSGを提案する。
  論文  参考訳（メタデータ） (2022-08-19T16:04:29Z)
• Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
  セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。 画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
  論文  参考訳（メタデータ） (2021-09-22T18:34:14Z)
• Semantic Distribution-aware Contrastive Adaptation for Semantic Segmentation [50.621269117524925]
  ドメイン適応セマンティックセグメンテーション(ドメイン適応セマンティックセグメンテーション)とは、特定のソースドメインのアノテーションだけで特定のターゲットドメイン上で予測を行うことを指す。 画素ワイド表示アライメントを可能にする意味分布対応コントラスト適応アルゴリズムを提案する。 複数のベンチマークでSDCAを評価し、既存のアルゴリズムを大幅に改善します。
  論文  参考訳（メタデータ） (2021-05-11T13:21:25Z)
• Seed the Views: Hierarchical Semantic Alignment for Contrastive Representation Learning [116.91819311885166]
  一つの画像から生成されたビューをtextbfCross-samples や Multi-level representation に拡張することで,階層的なセマンティックアライメント戦略を提案する。 提案手法はCsMlと呼ばれ,サンプル間の多層視覚表現を堅牢な方法で統合する機能を備えている。
  論文  参考訳（メタデータ） (2020-12-04T17:26:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。