論文の概要: Multivariate Prototype Representation for Domain-Generalized Incremental
Learning
- arxiv url: http://arxiv.org/abs/2309.13563v1
- Date: Sun, 24 Sep 2023 06:42:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 19:05:11.662310
- Title: Multivariate Prototype Representation for Domain-Generalized Incremental
Learning
- Title(参考訳): ドメイン一般化インクリメンタル学習のための多変量プロトタイプ表現
- Authors: Can Peng, Piotr Koniusz, Kaiyu Guo, Brian C. Lovell, Peyman Moghadam
- Abstract要約: 我々は、古いクラスを記憶し、新しいクラスに適応し、見えないドメインから確実にオブジェクトを分類できるDGCILアプローチを設計する。
我々の損失定式化は、分類境界を維持し、各クラスのドメイン固有情報を抑圧する。
- 参考スコア(独自算出の注目度): 35.83706574551515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning models suffer from catastrophic forgetting when being
fine-tuned with samples of new classes. This issue becomes even more pronounced
when faced with the domain shift between training and testing data. In this
paper, we study the critical and less explored Domain-Generalized
Class-Incremental Learning (DGCIL). We design a DGCIL approach that remembers
old classes, adapts to new classes, and can classify reliably objects from
unseen domains. Specifically, our loss formulation maintains classification
boundaries and suppresses the domain-specific information of each class. With
no old exemplars stored, we use knowledge distillation and estimate old class
prototype drift as incremental training advances. Our prototype representations
are based on multivariate Normal distributions whose means and covariances are
constantly adapted to changing model features to represent old classes well by
adapting to the feature space drift. For old classes, we sample pseudo-features
from the adapted Normal distributions with the help of Cholesky decomposition.
In contrast to previous pseudo-feature sampling strategies that rely solely on
average mean prototypes, our method excels at capturing varying semantic
information. Experiments on several benchmarks validate our claims.
- Abstract(参考訳): ディープラーニングモデルは、新しいクラスのサンプルで微調整されたとき、壊滅的な忘れに苦しむ。
トレーニングとテストデータのドメインシフトに直面した場合には,この問題はさらに顕著になる。
本稿では,DGCIL(Domain-Generalized Class-Incremental Learning)について検討する。
古いクラスを記憶し、新しいクラスに適応し、見えないドメインから確実にオブジェクトを分類できるDGCILアプローチを設計する。
具体的には、損失定式化は分類境界を維持し、各クラスのドメイン固有情報を抑制する。
古い例が保存されていない場合、知識蒸留と、インクリメンタルなトレーニングの進歩として古いクラスのプロトタイプドリフトを推定します。
プロトタイプ表現は多変量正規分布に基づいており,その平均と共分散は,特徴空間ドリフトに適応することで,古いクラスをよく表現するためのモデル特徴の変化に常に適応する。
古いクラスでは、cholesky 分解の助けを借りて、適応正規分布から擬似特徴をサンプリングする。
平均的なプロトタイプにのみ依存する従来の擬似特徴サンプリング戦略とは対照的に,本手法は様々な意味情報の収集に優れる。
いくつかのベンチマークによる実験は我々の主張を検証する。
関連論文リスト
- Activate and Reject: Towards Safe Domain Generalization under Category
Shift [71.95548187205736]
カテゴリーシフト(DGCS)下における領域一般化の実践的問題について検討する。
未知のクラスサンプルを同時に検出し、ターゲットドメイン内の既知のクラスサンプルを分類することを目的としている。
従来のDGと比較すると,1)ソースクラスのみを用いたトレーニングにおいて,未知の概念を学習する方法,2)ソーストレーニングされたモデルを未知の環境に適応する方法,の2つの新しい課題に直面している。
論文 参考訳(メタデータ) (2023-10-07T07:53:12Z) - FeCAM: Exploiting the Heterogeneity of Class Distributions in
Exemplar-Free Continual Learning [21.088762527081883]
Exemplar-free class-incremental learning (CIL)は、以前のタスクからのデータのリハーサルを禁止しているため、いくつかの課題がある。
第1タスクの後に特徴抽出器を凍結して分類器を漸進的に学習する手法が注目されている。
凍結した特徴抽出器を用いて新しいクラスプロトタイプを生成するCILのプロトタイプネットワークを探索し,プロトタイプとのユークリッド距離に基づいて特徴を分類する。
論文 参考訳(メタデータ) (2023-09-25T11:54:33Z) - Generalization Bounds for Few-Shot Transfer Learning with Pretrained
Classifiers [26.844410679685424]
本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。
クラス-機能-変数の崩壊の場合,新しいクラスで学習した特徴マップのわずかな誤差が小さいことを示す。
論文 参考訳(メタデータ) (2022-12-23T18:46:05Z) - Intra-class Adaptive Augmentation with Neighbor Correction for Deep
Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。
クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。
本手法は,検索性能の最先端手法を3%~6%向上させる。
論文 参考訳(メタデータ) (2022-11-29T14:52:38Z) - Multi-Domain Long-Tailed Learning by Augmenting Disentangled
Representations [80.76164484820818]
多くの現実世界の分類問題には、避けられない長い尾のクラスバランスの問題がある。
本稿では,この多領域長鎖学習問題について検討し,すべてのクラスとドメインにまたがってよく一般化されたモデルを作成することを目的とする。
TALLYは、選択的均衡サンプリング戦略に基づいて、ある例のセマンティック表現と別の例のドメイン関連ニュアンスを混合することでこれを達成している。
論文 参考訳(メタデータ) (2022-10-25T21:54:26Z) - Improving Replay-Based Continual Semantic Segmentation with Smart Data
Selection [0.0]
セマンティックセグメンテーションにおける様々なリプレイ戦略の影響について検討し,クラス・インクリメンタル・セッティングとドメイン・インクリメンタル・セッティングで評価する。
本研究は,クラス増分設定において,バッファ内の異なるクラスに対して一様分布を実現することが重要であることを示唆する。
ドメインインクリメンタルな設定では、学習した特徴表現の分布から一様にサンプリングしたり、中央値のエントロピーを持つサンプルを選択することでバッファサンプルを選択することが最も効果的である。
論文 参考訳(メタデータ) (2022-09-20T16:32:06Z) - Forget Less, Count Better: A Domain-Incremental Self-Distillation
Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。
生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
論文 参考訳(メタデータ) (2022-05-06T15:37:56Z) - Variational Feature Disentangling for Fine-Grained Few-Shot
Classification [30.350307891161865]
ファインファインショット認識はしばしば、新しいカテゴリのデータの不足を訓練する問題に悩まされる。
本稿では,未確認クラスのクラス内ばらつきを増大させ,少ショット分類性能を向上させることに焦点を当てる。
論文 参考訳(メタデータ) (2020-10-07T08:13:42Z) - Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。
本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。
本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
論文 参考訳(メタデータ) (2020-07-06T17:59:30Z) - Few-Shot Learning as Domain Adaptation: Algorithm and Analysis [120.75020271706978]
わずかながらの学習は、目に見えないクラスを認識するために、目に見えないクラスから学んだ事前知識を使用する。
このクラス差による分布シフトは、ドメインシフトの特別なケースとみなすことができる。
メタラーニングフレームワークにおいて、そのようなドメインシフト問題に明示的に対処するために、注意を向けたプロトタイプドメイン適応ネットワーク(DAPNA)を提案する。
論文 参考訳(メタデータ) (2020-02-06T01:04:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。