論文の概要: Cross-Domain Few-Shot Semantic Segmentation via Doubly Matching Transformation

• arxiv url: http://arxiv.org/abs/2405.15265v1
• Date: Fri, 24 May 2024 06:47:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 15:50:32.706390
• Title: Cross-Domain Few-Shot Semantic Segmentation via Doubly Matching Transformation
• Title（参考訳）: 二重マッチング変換によるクロスドメインFew-Shotセマンティックセマンティックセグメンテーション
• Authors: Jiayi Chen, Rong Quan, Jie Qin,
• Abstract要約: Cross-Domain Few-shot Semantic (CD-FSS)は、いくつかのラベル付きイメージで異なるドメインからクラスをセグメントできる一般化モデルのトレーニングを目的としている。 従来の研究は、CD-FSSに対処する際の特徴変換の有効性を証明してきた。 本稿では、この問題を解決するために、DMTNet(Doubly Matching Transformation-based Network)を提案する。
• 参考スコア（独自算出の注目度）: 26.788260801305974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-Domain Few-shot Semantic Segmentation (CD-FSS) aims to train generalized models that can segment classes from different domains with a few labeled images. Previous works have proven the effectiveness of feature transformation in addressing CD-FSS. However, they completely rely on support images for feature transformation, and repeatedly utilizing a few support images for each class may easily lead to overfitting and overlooking intra-class appearance differences. In this paper, we propose a Doubly Matching Transformation-based Network (DMTNet) to solve the above issue. Instead of completely relying on support images, we propose Self-Matching Transformation (SMT) to construct query-specific transformation matrices based on query images themselves to transform domain-specific query features into domain-agnostic ones. Calculating query-specific transformation matrices can prevent overfitting, especially for the meta-testing stage where only one or several images are used as support images to segment hundreds or thousands of images. After obtaining domain-agnostic features, we exploit a Dual Hypercorrelation Construction (DHC) module to explore the hypercorrelations between the query image with the foreground and background of the support image, based on which foreground and background prediction maps are generated and supervised, respectively, to enhance the segmentation result. In addition, we propose a Test-time Self-Finetuning (TSF) strategy to more accurately self-tune the query prediction in unseen domains. Extensive experiments on four popular datasets show that DMTNet achieves superior performance over state-of-the-art approaches. Code is available at https://github.com/ChenJiayi68/DMTNet.
• Abstract（参考訳）: Cross-Domain Few-shot Semantic Segmentation (CD-FSS)は、いくつかのラベル付きイメージで異なるドメインからクラスをセグメントできる汎用モデルのトレーニングを目的としている。 従来の研究は、CD-FSSに対処する際の特徴変換の有効性を証明してきた。 しかし、これらは機能変換のためのサポートイメージに完全に依存しており、クラス毎にいくつかのサポートイメージを繰り返し利用することで、クラス内の外観の違いを過度に見落としてしまう可能性がある。 本稿では,この問題を解決するために,Double Matching Transformation-based Network (DMTNet)を提案する。 サポート画像を完全に依存するのではなく、クエリイメージ自体に基づいてクエリ固有の変換行列を構築し、ドメイン固有のクエリ機能をドメインに依存しないものに変換するセルフマッチング変換(SMT)を提案する。 クエリ固有の変換行列の計算は、特に、数百から数千の画像のセグメンテーションをサポートするイメージとして、1つまたは複数の画像しか使用されていないメタテストステージにおいて、過度に適合するのを防ぐことができる。 ドメインに依存しない特徴を得た後、DHC(Dual Hypercorrelation Construction)モジュールを用いて、クエリ画像と前景と背景画像とのハイパー相関を探索し、前景と背景の予測マップをそれぞれ生成し、監督し、セグメンテーション結果を強化する。 さらに,未確認領域における問合せ予測をより正確に自己調整するTSF(Test-time Self-Finetuning)戦略を提案する。 4つの一般的なデータセットに対する大規模な実験は、DMTNetが最先端のアプローチよりも優れたパフォーマンスを達成することを示している。 コードはhttps://github.com/ChenJiayi68/DMTNetで入手できる。

関連論文リスト

• Adapt Before Comparison: A New Perspective on Cross-Domain Few-Shot Segmentation [0.0]
  クロスドメイン小ショットセグメンテーション (CD-FSS) が登場した。 テスト時間タスク適応がCD-FSSの成功の鍵であることを示す。 テスト時にラベル付きサンプル以外の画像は使用しないが,CD-FSSでは新たな最先端性能を実現している。
  論文  参考訳（メタデータ） (2024-02-27T15:43:53Z)
• Few-shot Medical Image Segmentation via Cross-Reference Transformer [3.2634122554914]
  Few-shot segmentation(FSS)は、少数のラベル付きサンプルから新しいカテゴリを学習することで、これらの課題に対処する可能性がある。 そこで本研究では,クロス参照変換器を用いた画像分割ネットワークを提案する。 実験の結果,CTデータセットとMRIデータセットの両方で良好な結果が得られた。
  論文  参考訳（メタデータ） (2023-04-19T13:05:18Z)
• I2F: A Unified Image-to-Feature Approach for Domain Adaptive Semantic Segmentation [55.633859439375044]
  意味的セグメンテーションのための教師なしドメイン適応(UDA)は、重いアノテーション作業から人々を解放する有望なタスクである。 この問題に対処する主要なアイデアは、画像レベルと特徴レベルの両方を共同で実行することである。 本稿では,画像レベルと特徴レベルを統一したセマンティックセグメンテーションのための新しいUDAパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-01-03T15:19:48Z)
• Cross-domain Few-shot Segmentation with Transductive Fine-tuning [29.81009103722184]
  本稿では,数ショットの条件下でのクエリ画像の集合に基づいて,ベースモデルをトランスダクティブに微調整することを提案する。 提案手法は,すべてのクロスドメインタスクにおいて,FSSモデルの性能を一貫して,かつ著しく向上させることができる。
  論文  参考訳（メタデータ） (2022-11-27T06:44:41Z)
• SImProv: Scalable Image Provenance Framework for Robust Content Attribution [80.25476792081403]
  我々は、クエリ画像を元の信頼できるデータベースにマッチングするフレームワークであるSImProvを提示する。 SimProvは3つのステージで構成されている。トップkの最も類似した画像を検索するためのスケーラブルな検索ステージと、候補の中からオリジナルを識別するための再ランク付けとほぼ重複した検出ステージである。 1億画像のデータセット上での効率的な検索と操作の検出を実証する。
  論文  参考訳（メタデータ） (2022-06-28T18:42:36Z)
• Boosting Few-shot Semantic Segmentation with Transformers [81.43459055197435]
  TRansformer-based Few-shot Semantic segmentation Method (TRFS) 我々のモデルは,グローバル・エンハンスメント・モジュール(GEM)とローカル・エンハンスメント・モジュール(LEM)の2つのモジュールから構成される。
  論文  参考訳（メタデータ） (2021-08-04T20:09:21Z)
• DSP: Dual Soft-Paste for Unsupervised Domain Adaptive Semantic Segmentation [97.74059510314554]
  セグメンテーションのための教師なしドメイン適応(UDA)は、ラベル付きソースドメインで訓練されたセグメンテーションモデルをラベル付きターゲットドメインに適応させることを目的としている。 既存の手法では、大きなドメインギャップに悩まされながら、ドメイン不変の特徴を学習しようとする。 本稿では,新しいDual Soft-Paste (DSP)法を提案する。
  論文  参考訳（メタデータ） (2021-07-20T16:22:40Z)
• Prototype Mixture Models for Few-shot Semantic Segmentation [50.866870384596446]
  サポートやクエリ画像内のオブジェクトが外観やポーズで大きく異なる可能性があるため、ショットのセグメンテーションは難しい。 プロトタイプベースセマンティック表現を強制するために,多種多様な画像領域と複数のプロトタイプとの相関関係を持つプロトタイプ混合モデル(PMMs)を提案する。 PMMはMS-COCOの5ショットセグメンテーション性能を最大5.82%改善し、モデルサイズと推論速度の適度なコストに留まった。
  論文  参考訳（メタデータ） (2020-08-10T04:33:17Z)
• GMM-UNIT: Unsupervised Multi-Domain and Multi-Modal Image-to-Image Translation via Attribute Gaussian Mixture Modeling [66.50914391679375]
  unsupervised image-to-image translation (UNIT) は、未経験の訓練画像を用いて、複数の視覚領域間のマッピングを学習することを目的としている。 最近の研究は、複数のドメインで顕著な成功を示しているが、それらは2つの主要な制限に悩まされている。 GMM-UNITという,空間にGMMを組み込むコンテンツ属性不整合表現に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-03-15T10:18:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。