論文の概要: On Generalizing Beyond Domains in Cross-Domain Continual Learning
- arxiv url: http://arxiv.org/abs/2203.03970v1
- Date: Tue, 8 Mar 2022 09:57:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-09 13:46:54.187390
- Title: On Generalizing Beyond Domains in Cross-Domain Continual Learning
- Title（参考訳）: クロスドメイン連続学習におけるbeyond domainの一般化について
- Authors: Christian Simon, Masoud Faraki, Yi-Hsuan Tsai, Xiang Yu, Samuel
Schulter, Yumin Suh, Mehrtash Harandi, Manmohan Chandraker
- Abstract要約: ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
- 参考スコア（独自算出の注目度）: 91.56748415975683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans have the ability to accumulate knowledge of new tasks in varying
conditions, but deep neural networks often suffer from catastrophic forgetting
of previously learned knowledge after learning a new task. Many recent methods
focus on preventing catastrophic forgetting under the assumption of train and
test data following similar distributions. In this work, we consider a more
realistic scenario of continual learning under domain shifts where the model
must generalize its inference to an unseen domain. To this end, we encourage
learning semantically meaningful features by equipping the classifier with
class similarity metrics as learning parameters which are obtained through
Mahalanobis similarity computations. Learning of the backbone representation
along with these extra parameters is done seamlessly in an end-to-end manner.
In addition, we propose an approach based on the exponential moving average of
the parameters for better knowledge distillation. We demonstrate that, to a
great extent, existing continual learning algorithms fail to handle the
forgetting issue under multiple distributions, while our proposed approach
learns new tasks under domain shift with accuracy boosts up to 10% on
challenging datasets such as DomainNet and OfficeHome.
- Abstract（参考訳）: 人間は様々な条件で新しいタスクの知識を蓄積する能力を持っているが、ディープニューラルネットワークは、新しいタスクを学んだ後に学習した知識を破滅的に忘れてしまう。
最近の多くの手法は、同様の分布に従う列車や試験データの仮定下での壊滅的な忘れることを防ぐことに重点を置いている。
本研究では,モデルが未知の領域に推論を一般化しなければならない領域シフト下での連続学習のより現実的なシナリオを考える。
そこで本研究では,Mahalanobisの類似性計算によって得られた学習パラメータとして,分類器にクラス類似度指標を組み込むことにより,意味論的特徴の学習を奨励する。
これらの追加パラメータとともにバックボーン表現の学習は、エンドツーエンドでシームレスに行われる。
さらに,より優れた知識蒸留を行うために,パラメータの指数移動平均に基づくアプローチを提案する。
提案手法では,ドメインシフトの下で新しいタスクを学習し,精度を最大10%向上させることで,DomainNetやOfficeHomeなどの挑戦的なデータセット上でのタスクを最大10%高速化する。
関連論文リスト
- Reinforcement Learning Based Multi-modal Feature Fusion Network for
Novel Class Discovery [47.28191501836041]
本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。
また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。
我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
論文 参考訳（メタデータ） (2023-08-26T07:55:32Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Transfer Learning via Test-Time Neural Networks Aggregation [11.42582922543676]
ディープニューラルネットワークが従来の機械学習より優れていることが示されている。
ディープ・ネットワークは一般性に欠けており、異なる分布から引き出された新しい(テスト)セットでは性能が良くない。
論文 参考訳（メタデータ） (2022-06-27T15:46:05Z) - Forget Less, Count Better: A Domain-Incremental Self-Distillation
Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。
生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
論文 参考訳（メタデータ） (2022-05-06T15:37:56Z) - Learn to Adapt for Monocular Depth Estimation [17.887575611570394]
逆深度推定タスクを提案し,メタラーニングのパイプラインでモデルを訓練する。
提案手法は,テスト手順中の数ステップのトレーニングの後,新しいデータセットに順応する。
論文 参考訳（メタデータ） (2022-03-26T06:49:22Z) - Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。
一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。
我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
論文 参考訳（メタデータ） (2022-02-08T16:09:12Z) - Cross-Domain Similarity Learning for Face Recognition in Unseen Domains [90.35908506994365]
本研究では,cdt(cross-domain triplet, クロスドメイントリプレット)の損失を推測する新しいクロスドメインメトリック学習損失法を提案する。
CDT損失は、一つのドメインからコンパクトな特徴クラスタを強制することによって意味論的に意味のある特徴の学習を促進する。
本手法では,トレーニング中,注意深いハードペアサンプルマイニングおよびフィルタリング戦略は必要としない。
論文 参考訳（メタデータ） (2021-03-12T19:48:01Z) - Flexible deep transfer learning by separate feature embeddings and
manifold alignment [0.0]
オブジェクト認識は、業界と防衛において重要な存在である。
残念ながら、既存のラベル付きデータセットでトレーニングされたアルゴリズムは、データ分布が一致しないため、直接新しいデータに一般化しない。
本稿では,各領域の特徴抽出を個別に学習することで,この制限を克服する新しいディープラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2020-12-22T19:24:44Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳（メタデータ） (2020-09-24T15:40:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。