論文の概要: Multi-Modal Prototypes for Open-World Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2307.02003v3
• Date: Thu, 11 Jul 2024 05:14:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 12:15:14.340048
• Title: Multi-Modal Prototypes for Open-World Semantic Segmentation
• Title（参考訳）: オープンワールドセマンティックセグメンテーションのためのマルチモーダルプロトタイプ
• Authors: Yuhuan Yang, Chaofan Ma, Chen Ju, Fei Zhang, Jiangchao Yao, Ya Zhang, Yanfeng Wang,
• Abstract要約: セマンティックセグメンテーションをより包括的にサポートするために,テキストおよび視覚的手がかりを多モーダルプロトタイプとして包含することを提案する。 我々は,高レベル言語情報を多視点プロトタイプとして分解し,低レベル視覚情報をより意味のあるプロトタイプとして集約する。 弾性マスク予測モジュールに基づいて、ゼロショット、少数ショット、一般化されたタスクを1つのアーキテクチャで解くことができる。
• 参考スコア（独自算出の注目度）: 37.84805778548119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In semantic segmentation, generalizing a visual system to both seen categories and novel categories at inference time has always been practically valuable yet challenging. To enable such functionality, existing methods mainly rely on either providing several support demonstrations from the visual aspect or characterizing the informative clues from the textual aspect (e.g., the class names). Nevertheless, both two lines neglect the complementary intrinsic of low-level visual and high-level language information, while the explorations that consider visual and textual modalities as a whole to promote predictions are still limited. To close this gap, we propose to encompass textual and visual clues as multi-modal prototypes to allow more comprehensive support for open-world semantic segmentation, and build a novel prototype-based segmentation framework to realize this promise. To be specific, unlike the straightforward combination of bi-modal clues, we decompose the high-level language information as multi-aspect prototypes and aggregate the low-level visual information as more semantic prototypes, on basis of which, a fine-grained complementary fusion makes the multi-modal prototypes more powerful and accurate to promote the prediction. Based on an elastic mask prediction module that permits any number and form of prototype inputs, we are able to solve the zero-shot, few-shot and generalized counterpart tasks in one architecture. Extensive experiments on both PASCAL-$5^i$ and COCO-$20^i$ datasets show the consistent superiority of the proposed method compared with the previous state-of-the-art approaches, and a range of ablation studies thoroughly dissects each component in our framework both quantitatively and qualitatively that verify their effectiveness.
• Abstract（参考訳）: セマンティックセグメンテーションでは、目に見えるカテゴリと推論時に新しいカテゴリの両方に視覚システムを一般化することは、実用上有益でありながら困難である。 このような機能を実現するために、既存のメソッドは主に、視覚的な側面からいくつかのサポートデモを提供するか、テキスト的な側面(例えば、クラス名)から情報的なヒントを特徴付けるかに依存する。 しかしながら、両線とも低レベル・高レベル言語情報の相補的内在性を無視し、視覚的・テキスト的モダリティを全体として考慮して予測を促進する探索は依然として限られている。 このギャップを埋めるために、オープンワールドセマンティックセグメンテーションをより包括的にサポートするマルチモーダルプロトタイプとしてテキストおよび視覚的ヒントを包含し、この約束を実現するための新しいプロトタイプベースのセグメンテーションフレームワークを構築することを提案する。 具体的には、バイモーダルなヒントの直接的な組み合わせとは異なり、ハイレベルな言語情報をマルチアスペクトのプロトタイプとして分解し、よりセマンティックなプロトタイプとして低レベルな視覚情報を集約する。 任意の数のプロトタイプ入力を許容する弾性マスク予測モジュールに基づいて、ゼロショット、少数ショット、一般化されたタスクを1つのアーキテクチャで解くことができる。 PASCAL-$5^i$ と COCO-$20^i$ の2つのデータセットによる大規模な実験により,提案手法の従来手法と比較して一貫した優位性を示した。

関連論文リスト

• Envisioning Class Entity Reasoning by Large Language Models for Few-shot Learning [13.68867780184022]
  少ないショット学習は、限られた数のビジュアルサンプルを使用して新しい概念を認識することを目的としている。 我々のフレームワークは,Large Language Models(LLMs)から抽出した抽象クラスセマンティクスと具体的なクラスエンティティの両方を組み込んでいる。 難易度の高いワンショット設定では、ResNet-12のバックボーンを利用して、第2の競争相手に比べて平均1.95%の改善を実現しています。
  論文  参考訳（メタデータ） (2024-08-22T15:10:20Z)
• One-Shot Open Affordance Learning with Foundation Models [54.15857111929812]
  私たちは、モデルがベースオブジェクトカテゴリ毎に1つの例でトレーニングされる、ワンショットのオープンアフォーダンスラーニング(OOAL)を紹介します。 本稿では,視覚的特徴と手頃なテキスト埋め込みとの整合性を高める,シンプルで効果的な設計の視覚言語フレームワークを提案する。 2つのアベイランスセグメンテーションのベンチマーク実験により、提案手法はトレーニングデータの1%未満で最先端のモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-29T16:23:06Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• LPN: Language-guided Prototypical Network for few-shot classification [16.37959398470535]
  ラベル付き例を限定して、新しいタスクに適応することを目的としている。 近年の手法では,クエリとサポート画像の類似性の適切な測定方法が検討されている。 本稿では,言語誘導型プロトタイプネットワーク(LPN)を提案する。
  論文  参考訳（メタデータ） (2023-07-04T06:54:01Z)
• Semantic Prompt for Few-Shot Image Recognition [76.68959583129335]
  本稿では,数ショット学習のための新しいセマンティック・プロンプト(SP)手法を提案する。 提案手法は,1ショットの学習精度を平均3.67%向上させることにより,有望な結果が得られる。
  論文  参考訳（メタデータ） (2023-03-24T16:32:19Z)
• Multimodal Prototype-Enhanced Network for Few-Shot Action Recognition [40.329190454146996]
  MultimOdal PRototype-ENhanced Network (MORN)は、ラベルテキストの意味情報をマルチモーダル情報として利用してプロトタイプを強化する。 我々は4つの一般的な数発のアクション認識データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-09T14:24:39Z)
• TRIE++: Towards End-to-End Information Extraction from Visually Rich Documents [51.744527199305445]
  本稿では,視覚的にリッチな文書からエンド・ツー・エンドの情報抽出フレームワークを提案する。 テキスト読み出しと情報抽出は、よく設計されたマルチモーダルコンテキストブロックを介して互いに強化することができる。 フレームワークはエンドツーエンドのトレーニング可能な方法でトレーニングでき、グローバルな最適化が達成できる。
  論文  参考訳（メタデータ） (2022-07-14T08:52:07Z)
• Part-aware Prototype Network for Few-shot Semantic Segmentation [50.581647306020095]
  本稿では,プロトタイプ表現に基づく新規な数ショットセマンティックセマンティックセマンティクスフレームワークを提案する。 私たちのキーとなるアイデアは、全体論的なクラス表現を、部分認識型プロトタイプのセットに分解することです。 提案する部分認識型プロトタイプを生成・拡張する新しいグラフニューラルネットワークモデルを開発した。
  論文  参考訳（メタデータ） (2020-07-13T11:03:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。