論文の概要: Learning at a Glance: Towards Interpretable Data-limited Continual Semantic Segmentation via Semantic-Invariance Modelling
- arxiv url: http://arxiv.org/abs/2407.15429v1
- Date: Mon, 22 Jul 2024 07:17:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-23 15:50:49.964153
- Title: Learning at a Glance: Towards Interpretable Data-limited Continual Semantic Segmentation via Semantic-Invariance Modelling
- Title（参考訳）: グランスでの学習:意味的不変性モデリングによる解釈可能なデータ制限連続セマンティックセマンティックセグメンテーションを目指して
- Authors: Bo Yuan, Danpei Zhao, Zhenwei Shi,
- Abstract要約: インクリメンタルラーニング(IL)に基づく連続意味セグメンテーション(CSS)は、人間のようなセグメンテーションモデルを開発する上で大きな取り組みである。
現在のCSSアプローチでは、古い知識の保存と新しい知識の学習のトレードオフに直面する。
我々は、CSSの効率的で堅牢で人間らしい、解釈可能なアプローチであるLearning at a Glance (LAG)を提示する。
- 参考スコア（独自算出の注目度）: 21.114359437665364
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual semantic segmentation (CSS) based on incremental learning (IL) is a great endeavour in developing human-like segmentation models. However, current CSS approaches encounter challenges in the trade-off between preserving old knowledge and learning new ones, where they still need large-scale annotated data for incremental training and lack interpretability. In this paper, we present Learning at a Glance (LAG), an efficient, robust, human-like and interpretable approach for CSS. Specifically, LAG is a simple and model-agnostic architecture, yet it achieves competitive CSS efficiency with limited incremental data. Inspired by human-like recognition patterns, we propose a semantic-invariance modelling approach via semantic features decoupling that simultaneously reconciles solid knowledge inheritance and new-term learning. Concretely, the proposed decoupling manner includes two ways, i.e., channel-wise decoupling and spatial-level neuron-relevant semantic consistency. Our approach preserves semantic-invariant knowledge as solid prototypes to alleviate catastrophic forgetting, while also constraining sample-specific contents through an asymmetric contrastive learning method to enhance model robustness during IL steps. Experimental results in multiple datasets validate the effectiveness of the proposed method. Furthermore, we introduce a novel CSS protocol that better reflects realistic data-limited CSS settings, and LAG achieves superior performance under multiple data-limited conditions.
- Abstract（参考訳）: インクリメンタルラーニング(IL)に基づく連続意味セグメンテーション(CSS)は、人間のようなセグメンテーションモデルを開発する上で大きな取り組みである。
しかしながら、現在のCSSアプローチでは、古い知識の保存と新しい知識の学習のトレードオフに直面する。
本稿では,CSSの効率的,堅牢,人間的,解釈可能なアプローチであるLearning at a Glance(LAG)を提案する。
特に、RAGはシンプルでモデルに依存しないアーキテクチャであるが、限られたインクリメンタルデータで競合するCSS効率を実現する。
人間の認識パターンにインスパイアされたセマンティック・インバーティビティ・モデリング手法として,知識の継承と新しい長期学習を両立させるセマンティック・インバーティビティ・モデリング手法を提案する。
具体的には、提案されたデカップリング方式は、チャネルワイドデカップリングと空間レベルのニューロン関連セマンティック一貫性という2つの方法を含む。
提案手法は,非対称なコントラスト学習法によりサンプル固有内容の制約を緩和し,ILステップにおけるモデルロバスト性を高めるとともに,破滅的忘れを緩和するための固体プロトタイプとして意味不変知識を保存する。
提案手法の有効性を複数のデータセットで検証した。
さらに、現実的なデータ制限CSS設定をよりよく反映する新しいCSSプロトコルを導入し、複数のデータ制限条件下での優れたパフォーマンスを実現する。
関連論文リスト
- Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。
CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。
本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
論文 参考訳（メタデータ） (2024-11-01T01:51:31Z) - Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。
しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。
語彙定義意味論(vocabulary-defined semantics)を提案する。
論文 参考訳（メタデータ） (2024-01-29T14:29:48Z) - SEER-ZSL: Semantic Encoder-Enhanced Representations for Generalized
Zero-Shot Learning [0.7420433640907689]
一般化ゼロショット学習(GZSL)は、見知らぬクラスから知識を伝達することで、目に見えないクラスを認識する。
本稿では,一般化ギャップに対処するための二重戦略を提案する。
論文 参考訳（メタデータ） (2023-12-20T15:18:51Z) - Consistency Regularisation in Varying Contexts and Feature Perturbations
for Semi-Supervised Semantic Segmentation of Histology Images [14.005379068469361]
この課題を軽減するために,一貫性に基づく半教師付き学習(SSL)アプローチを提案する。
SSLモデルは、コンテキストの変更や、限られたトレーニングデータのために一般化が不十分な特徴の摂動にも影響する可能性がある。
相互整合性トレーニングにより、エンコーダの特徴が異なる摂動に不変となり、予測信頼性が向上することを示す。
論文 参考訳（メタデータ） (2023-01-30T18:21:57Z) - GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot
Learning [55.79997930181418]
Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。
生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。
本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-05T04:04:37Z) - DUET: Cross-modal Semantic Grounding for Contrastive Zero-shot Learning [37.48292304239107]
本稿では, DUET という変換器を用いたエンドツーエンドZSL手法を提案する。
画像からセマンティック属性を分離するモデルの能力を調べるために,モーダルなセマンティックグラウンドネットワークを開発した。
DUETは、しばしば最先端のパフォーマンスを達成することができ、そのコンポーネントは有効であり、予測は解釈可能である。
論文 参考訳（メタデータ） (2022-07-04T11:12:12Z) - Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。
提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。
実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-03-16T16:14:19Z) - Context Decoupling Augmentation for Weakly Supervised Semantic
Segmentation [53.49821324597837]
微調整されたセマンティックセグメンテーションは、近年深く研究されている困難な問題です。
本稿では、オブジェクトが現れる固有のコンテキストを変更する Context Decoupling Augmentation (CDA) メソッドを紹介します。
提案手法の有効性を検証するため, PASCAL VOC 2012データセットにいくつかの代替ネットワークアーキテクチャを用いた広範な実験を行い, CDAが様々なWSSS手法を新たな最先端技術に拡張できることを実証した。
論文 参考訳（メタデータ） (2021-03-02T15:05:09Z) - Self-Supervised Learning of Graph Neural Networks: A Unified Review [50.71341657322391]
ラベルなしサンプルを多用する新たなパラダイムとして,自己教師型学習が登場している。
SSLを用いたグラフニューラルネットワーク(GNNs)のトレーニング方法の統一レビューを提供します。
gnnに対するssl手法の処理は,様々な手法の類似性と相違に光を当て,新しい手法やアルゴリズムの開発段階を定めている。
論文 参考訳（メタデータ） (2021-02-22T03:43:45Z) - PLOP: Learning without Forgetting for Continual Semantic Segmentation [44.49799311137856]
セマンティックセグメンテーション(CSS)の継続的な学習は、新しいクラスを逐次追加することによって古いモデルを更新する、新たなトレンドである。
本稿では,長大かつ短大な空間関係を特徴レベルで保存する多スケールプール蒸留方式であるLocal PODを提案する。
また,従来のモデルが予測した背景w.r.t.クラスのエントロピーに基づく擬似ラベリングを設計し,背景シフトに対処し,旧クラスの破滅的忘れを避ける。
論文 参考訳（メタデータ） (2020-11-23T13:35:03Z) - Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。
PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。
PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文 参考訳（メタデータ） (2020-05-11T09:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。