論文の概要: Prediction Calibration for Generalized Few-shot Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2210.08290v1
• Date: Sat, 15 Oct 2022 13:30:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 19:11:55.919147
• Title: Prediction Calibration for Generalized Few-shot Semantic Segmentation
• Title（参考訳）: 一般化Few-shot Semantic Segmentationの予測校正
• Authors: Zhihe Lu, Sen He, Da Li, Yi-Zhe Song, Tao Xiang
• Abstract要約: 汎用Few-shot Semantic (GFSS) は、各画像ピクセルを、豊富なトレーニング例を持つベースクラスか、クラスごとにわずかに(例: 1-5)のトレーニングイメージを持つ新しいクラスのいずれかに分割することを目的としている。 我々は、融合したマルチレベル機能を用いて、分類器の最終予測をガイドするクロスアテンションモジュールを構築する。 私たちのPCNは、最先端の代替品よりも大きなマージンで優れています。
• 参考スコア（独自算出の注目度）: 101.69940565204816
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generalized Few-shot Semantic Segmentation (GFSS) aims to segment each image pixel into either base classes with abundant training examples or novel classes with only a handful of (e.g., 1-5) training images per class. Compared to the widely studied Few-shot Semantic Segmentation FSS, which is limited to segmenting novel classes only, GFSS is much under-studied despite being more practical. Existing approach to GFSS is based on classifier parameter fusion whereby a newly trained novel class classifier and a pre-trained base class classifier are combined to form a new classifier. As the training data is dominated by base classes, this approach is inevitably biased towards the base classes. In this work, we propose a novel Prediction Calibration Network PCN to address this problem. Instead of fusing the classifier parameters, we fuse the scores produced separately by the base and novel classifiers. To ensure that the fused scores are not biased to either the base or novel classes, a new Transformer-based calibration module is introduced. It is known that the lower-level features are useful of detecting edge information in an input image than higher-level features. Thus, we build a cross-attention module that guides the classifier's final prediction using the fused multi-level features. However, transformers are computationally demanding. Crucially, to make the proposed cross-attention module training tractable at the pixel level, this module is designed based on feature-score cross-covariance and episodically trained to be generalizable at inference time. Extensive experiments on PASCAL-$5^{i}$ and COCO-$20^{i}$ show that our PCN outperforms the state-the-the-art alternatives by large margins.
• Abstract（参考訳）: 汎用Few-shot Semantic Segmentation (GFSS) は、各画像ピクセルを、豊富なトレーニング例を持つベースクラスまたは新しいクラスに分割することを目的としている。 セマンティクスセグメンテーションfssは、セグメンテーションの新規クラスのみに限定されているため、gfssは実用的とはいえ、あまり研究されていない。 既存のGFSSへのアプローチは、新しく訓練された新しいクラス分類器と事前訓練されたベースクラス分類器を組み合わせて新しい分類器を形成する分類器パラメータ融合に基づいている。 トレーニングデータはベースクラスに支配されているため、このアプローチは必然的にベースクラスに偏っている。 本研究では,この問題に対処する新しい予測校正ネットワークPCNを提案する。 分類器パラメータを融合させる代わりに、基底と新しい分類器によって生成されるスコアを分離する。 融合スコアがベースクラスまたは新規クラスのいずれかに偏らないようにするため、新しいトランスベースキャリブレーションモジュールを導入する。 低レベル特徴は高レベル特徴よりも入力画像のエッジ情報を検出するのに有用であることが知られている。 そこで我々は,マルチレベル機能を用いて分類器の最終予測を導くクロスアテンションモジュールを構築する。 しかし、トランスフォーマーは計算的に要求される。 重要な点として,提案するクロスアテンションモジュールのトレーニングを画素レベルで扱いやすくするため,このモジュールは特徴中心のクロス共分散に基づいて設計され,推定時に一般化するようにエピソドリックに訓練されている。 PASCAL-$5^{i}$およびCOCO-$20^{i}$に対する大規模な実験は、PCNが最先端の代替品よりも大きなマージンで優れていることを示している。

関連論文リスト

• Class Similarity Transition: Decoupling Class Similarities and Imbalance from Generalized Few-shot Segmentation [17.33292771556997]
  本稿では, 基本クラスと新規クラスの関連性に着目し, 一般ファウショット(GFSS)の改良について述べる。 まず,基本クラス知識を持つ新しいクラスを学習するための類似性遷移行列を提案する。 次に、GFSSタスクにLDAM損失とトランスダクティブ推論を利用して、クラス不均衡の問題に対処する。
  論文  参考訳（メタデータ） (2024-04-08T00:13:05Z)
• Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
  本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。 我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。 これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
  論文  参考訳（メタデータ） (2024-03-01T15:14:47Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
  CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。 我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。 提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
  論文  参考訳（メタデータ） (2022-04-07T17:58:07Z)
• Learning What Not to Segment: A New Perspective on Few-Shot Segmentation [63.910211095033596]
  近年では、FSS ( few-shot segmentation) が広く開発されている。 本稿では,問題を緩和するための新鮮で直接的な知見を提案する。 提案されたアプローチのユニークな性質を踏まえて、より現実的で挑戦的な設定にまで拡張する。
  論文  参考訳（メタデータ） (2022-03-15T03:08:27Z)
• Exploring Category-correlated Feature for Few-shot Image Classification [27.13708881431794]
  本稿では,従来の知識として,新しいクラスとベースクラスのカテゴリ相関を探索し,シンプルで効果的な特徴補正手法を提案する。 提案手法は, 広く使用されている3つのベンチマークにおいて, 一定の性能向上が得られる。
  論文  参考訳（メタデータ） (2021-12-14T08:25:24Z)
• Variational Feature Disentangling for Fine-Grained Few-Shot Classification [30.350307891161865]
  ファインファインショット認識はしばしば、新しいカテゴリのデータの不足を訓練する問題に悩まされる。 本稿では,未確認クラスのクラス内ばらつきを増大させ,少ショット分類性能を向上させることに焦点を当てる。
  論文  参考訳（メタデータ） (2020-10-07T08:13:42Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。