論文の概要: Weakly supervised segmentation with cross-modality equivariant constraints

• arxiv url: http://arxiv.org/abs/2104.02488v1
• Date: Tue, 6 Apr 2021 13:14:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 14:04:47.210052
• Title: Weakly supervised segmentation with cross-modality equivariant constraints
• Title（参考訳）: クロスモダリティ同変制約付き弱教師付きセグメンテーション
• Authors: Gaurav Patel and Jose Dolz
• Abstract要約: 弱い教師付き学習は、セマンティックセグメンテーションにおける大きなラベル付きデータセットの必要性を軽減するための魅力的な代替手段として登場した。 本稿では,マルチモーダル画像シナリオにおける自己スーパービジョンを活用した新しい学習戦略を提案する。 私たちのアプローチは、同じ学習条件下で関連する最近の文学を上回ります。
• 参考スコア（独自算出の注目度）: 7.757293476741071
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weakly supervised learning has emerged as an appealing alternative to alleviate the need for large labeled datasets in semantic segmentation. Most current approaches exploit class activation maps (CAMs), which can be generated from image-level annotations. Nevertheless, resulting maps have been demonstrated to be highly discriminant, failing to serve as optimal proxy pixel-level labels. We present a novel learning strategy that leverages self-supervision in a multi-modal image scenario to significantly enhance original CAMs. In particular, the proposed method is based on two observations. First, the learning of fully-supervised segmentation networks implicitly imposes equivariance by means of data augmentation, whereas this implicit constraint disappears on CAMs generated with image tags. And second, the commonalities between image modalities can be employed as an efficient self-supervisory signal, correcting the inconsistency shown by CAMs obtained across multiple modalities. To effectively train our model, we integrate a novel loss function that includes a within-modality and a cross-modality equivariant term to explicitly impose these constraints during training. In addition, we add a KL-divergence on the class prediction distributions to facilitate the information exchange between modalities, which, combined with the equivariant regularizers further improves the performance of our model. Exhaustive experiments on the popular multi-modal BRATS dataset demonstrate that our approach outperforms relevant recent literature under the same learning conditions.
• Abstract（参考訳）: 弱い教師付き学習は、セマンティックセグメンテーションにおける大きなラベル付きデータセットの必要性を軽減するための魅力的な代替手段として登場した。 現在のアプローチのほとんどは、画像レベルのアノテーションから生成されるクラスアクティベーションマップ(CAM)を利用している。 それでも、結果として得られる地図は高い差別性を示しており、最適なプロキシピクセルレベルのラベルとして機能しない。 本稿では,マルチモーダル画像シナリオにおける自己スーパービジョンを活用した新しい学習戦略を提案する。 特に,提案手法は2つの観測結果に基づいている。 まず、完全教師付きセグメンテーションネットワークの学習は、データ拡張によって暗黙的に同値を課すが、この暗黙の制約は、画像タグで生成されたCAMでは消滅する。 第2に、画像モダリティ間の共通性は効率的な自己超越信号として利用でき、複数のモダリティで得られたCAMの不整合を補正する。 モデルを効果的に訓練するために、モダリティ内とモダリティ間等式を含む新しい損失関数を統合し、トレーニング中にこれらの制約を明確に課す。 さらに,クラス予測分布にkl-divergenceを追加し,モダリティ間の情報交換を容易にし,同変正規化器と組み合わせることで,モデルの性能をさらに向上させる。 汎用マルチモーダルブラッツデータセットを用いた徹底的な実験により,同一の学習条件下では,本手法が関連する最近の文献よりも優れていることが示された。

関連論文リスト

• Unsupervised Representation Learning by Balanced Self Attention Matching [2.3020018305241337]
  本稿では,BAMと呼ばれる画像特徴を埋め込む自己教師型手法を提案する。 我々は,これらの分布とグローバルな均衡とエントロピー正規化バージョンに一致する損失を最小化することにより,豊かな表現と特徴の崩壊を回避する。 半教師付きベンチマークと移動学習ベンチマークの両方において,先行手法と競合する性能を示す。
  論文  参考訳（メタデータ） (2024-08-04T12:52:44Z)
• Continual Panoptic Perception: Towards Multi-modal Incremental Interpretation of Remote Sensing Images [16.0258685984844]
  継続的学習(CL)は、一方的なトレーニングの方法を破壊し、モデルが新しいデータ、セマンティクス、タスクに継続的に適応できるようにする。 本稿では,画素レベルの分類,インスタンスレベルのセグメンテーション,イメージレベルの知覚を対象とするマルチタスク共同学習を利用した統合型連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-19T12:22:32Z)
• Efficient Bilateral Cross-Modality Cluster Matching for Unsupervised Visible-Infrared Person ReID [56.573905143954015]
  本稿では, クラスタ間マッチングによるモダリティギャップを低減するための, クラスタマッチングに基づく新たな学習フレームワークを提案する。 このような監視信号の下では、クラスタレベルで特徴を協調的に整列させるために、モダリティ・特定・モダリティ・非依存(MSMA)コントラスト学習フレームワークが提案されている。 公開SYSU-MM01とRegDBデータセットの実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-22T03:27:46Z)
• DUET: Cross-modal Semantic Grounding for Contrastive Zero-shot Learning [37.48292304239107]
  本稿では, DUET という変換器を用いたエンドツーエンドZSL手法を提案する。 画像からセマンティック属性を分離するモデルの能力を調べるために,モーダルなセマンティックグラウンドネットワークを開発した。 DUETは、しばしば最先端のパフォーマンスを達成することができ、そのコンポーネントは有効であり、予測は解釈可能である。
  論文  参考訳（メタデータ） (2022-07-04T11:12:12Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Learning Aligned Cross-Modal Representation for Generalized Zero-Shot Classification [17.177622259867515]
  一般化ゼロショット分類(GZSC)のためのアラインド・クロスモーダル表現(adigned Cross-Modal Representations, ACMR)の学習による革新的オートエンコーダネットワークを提案する。 具体的には,学習型分類器によって導かれる潜在部分空間上でのクロスモーダルな潜在特徴のアライメントを強化するために,新しい視覚・セマンティックアライメント(VSA)法を提案する。 さらに,潜伏変数の識別能力を高めるとともに,潜伏変数が崩壊する可能性を低減するための新しい情報拡張モジュール (IEM) を提案する。
  論文  参考訳（メタデータ） (2021-12-24T03:35:37Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Margin Preserving Self-paced Contrastive Learning Towards Domain Adaptation for Medical Image Segmentation [51.93711960601973]
  クロスモーダル医療画像セグメンテーションのための自己ペースコントラスト学習モデルを保存する新しいマージンを提案する。 プログレッシブに洗練されたセマンティックプロトタイプの指導により、埋め込み表現空間の識別性を高めるために、コントラスト損失を減少させる新しいマージンが提案される。 クロスモーダル心セグメンテーションタスクの実験は、MPSCLが意味セグメンテーション性能を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-03-15T15:23:10Z)
• Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation [93.83369981759996]
  本稿では,自己監督同変注意機構(SEAM)を提案する。 本手法は,完全教師付きセマンティックセグメンテーションにおいて,同値が暗黙の制約であることを示す。 本稿では,ネットワーク学習のための自己スーパービジョンを提供するために,様々な変換画像から予測されたCAMの整合性正則化を提案する。
  論文  参考訳（メタデータ） (2020-04-09T14:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。