論文の概要: General Incremental Learning with Domain-aware Categorical
Representations
- arxiv url: http://arxiv.org/abs/2204.04078v1
- Date: Fri, 8 Apr 2022 13:57:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-11 13:07:17.807366
- Title: General Incremental Learning with Domain-aware Categorical
Representations
- Title（参考訳）: ドメイン対応カテゴリー表現を用いた一般インクリメンタルラーニング
- Authors: Jiangwei Xie, Shipeng Yan, Xuming He
- Abstract要約: 本研究では,EMフレームワークに基づく新しいドメイン認識連続学習手法を提案する。
具体的には、von Mises-Fisher混合モデルに基づくフレキシブルなクラス表現を導入し、クラス内構造をキャプチャする。
本研究では, クラス内およびクラス間のデータ不均衡に対処するバイレベルバランスメモリを設計し, 蒸留損失と組み合わせて, クラス間およびクラス内安定性・塑性トレードオフを改善する。
- 参考スコア（独自算出の注目度）: 37.68376996568006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning is an important problem for achieving human-level
intelligence in real-world applications as an agent must continuously
accumulate knowledge in response to streaming data/tasks. In this work, we
consider a general and yet under-explored incremental learning problem in which
both the class distribution and class-specific domain distribution change over
time. In addition to the typical challenges in class incremental learning, this
setting also faces the intra-class stability-plasticity dilemma and intra-class
domain imbalance problems. To address above issues, we develop a novel
domain-aware continual learning method based on the EM framework. Specifically,
we introduce a flexible class representation based on the von Mises-Fisher
mixture model to capture the intra-class structure, using an
expansion-and-reduction strategy to dynamically increase the number of
components according to the class complexity. Moreover, we design a bi-level
balanced memory to cope with data imbalances within and across classes, which
combines with a distillation loss to achieve better inter- and intra-class
stability-plasticity trade-off. We conduct exhaustive experiments on three
benchmarks: iDigits, iDomainNet and iCIFAR-20. The results show that our
approach consistently outperforms previous methods by a significant margin,
demonstrating its superiority.
- Abstract（参考訳）: エージェントは、ストリーミングデータ/タスクに対する知識を継続的に蓄積する必要があるため、現実世界のアプリケーションにおいて人間レベルの知性を達成する上で、継続的な学習は重要な問題である。
本研究では,クラス分布とクラス固有ドメイン分布の両方が時間とともに変化する,一般かつ未熟な漸進学習問題を考える。
クラスインクリメンタル学習の典型的な課題に加えて、この設定はクラス内安定性-可塑性ジレンマとクラス内ドメインの不均衡の問題にも直面している。
上記の課題に対処するため,EMフレームワークに基づくドメイン対応連続学習手法を開発した。
具体的には,von mises-fisher混合モデルに基づくフレキシブルなクラス表現を導入し,クラス内構造をキャプチャし,クラス複雑性に応じてコンポーネント数を動的に増加させる拡張・還元戦略を提案する。
さらに, クラス内およびクラス間のデータ不均衡に対処するバイレベルバランスメモリを設計し, 蒸留損失と組み合わせることで, クラス間およびクラス内安定性・塑性トレードオフを改善する。
iDigits、iDomainNet、iCIFAR-20の3つのベンチマークで徹底的な実験を行った。
その結果,提案手法は従来手法よりも有意な差を示し,その優位性を示した。
関連論文リスト
- FEED: Fairness-Enhanced Meta-Learning for Domain Generalization [13.757379847454372]
モデルフェアネスを認識しながら配布外データに一般化することは、メタラーニングにおいて重要かつ困難な問題である。
本稿では,ドメインの一般化能力を大幅に向上させるフェアネスを考慮したメタラーニング手法を提案する。
論文 参考訳（メタデータ） (2024-11-02T17:34:33Z) - Dual Consolidation for Pre-Trained Model-Based Domain-Incremental Learning [64.1745161657794]
ドメイン・インクリメンタル・ラーニング(ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、Domain-Incremental Learning、DIL)は、異なるドメインにまたがる新しい概念へのモデルの漸進的な適応を含む。
プレトレーニングモデルの最近の進歩は、DILの確かな基盤を提供する。
しかし、新しい概念を学ぶことは、しばしば、事前訓練された知識を破滅的に忘れてしまう。
本稿では,歴史的知識の統一と統合を図るために,デュアルコンソリデータティオン(ドゥクト)を提案する。
論文 参考訳（メタデータ） (2024-10-01T17:58:06Z) - Versatile Incremental Learning: Towards Class and Domain-Agnostic Incremental Learning [16.318126586825734]
インクリメンタルラーニング(IL)は、逐次入力タスクから知識を蓄積することを目的としている。
私たちはVersatile Incremental Learning (VIL) という,より挑戦的で現実的で,未探索のILシナリオを考えています。
Incremental with Shift cONtrol (ICON) という,シンプルで効果的なILフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-17T07:44:28Z) - Cross-Domain Continual Learning via CLAMP [10.553456651003055]
CLAMPは、すべての実験で確立されたベースラインアルゴリズムを少なくとも10%のマージンで大幅に上回っている。
ベースモデルの学習プロセスをナビゲートするために、評価者誘導学習プロセスがフォワードされる。
論文 参考訳（メタデータ） (2024-05-12T02:41:31Z) - DiffClass: Diffusion-Based Class Incremental Learning [30.514281721324853]
クラスインクリメンタルラーニング(CIL)は破滅的な忘れが原因で困難である。
最近の例のないCIL手法は、過去のタスクデータを合成することによって破滅的な忘れを軽減しようとする。
そこで本研究では,これらの問題を克服するために,新しい非定型CIL法を提案する。
論文 参考訳（メタデータ） (2024-03-08T03:34:18Z) - Enhancing cross-domain detection: adaptive class-aware contrastive
transformer [15.666766743738531]
対象領域の不十分なラベルは、クラス不均衡とモデル性能劣化の問題を悪化させる。
逆学習と平均教師フレームワークに基づくクラス対応クロスドメイン検出変換器を提案する。
論文 参考訳（メタデータ） (2024-01-24T07:11:05Z) - Neural Collapse Terminus: A Unified Solution for Class Incremental
Learning and Its Variants [166.916517335816]
本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。
ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。
本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
論文 参考訳（メタデータ） (2023-08-03T13:09:59Z) - Learning to Augment via Implicit Differentiation for Domain
Generalization [107.9666735637355]
ドメイン一般化(DG)は、複数のソースドメインを活用してドメイン一般化可能なモデルを学ぶことで、この問題を克服することを目的としている。
本稿では,AugLearnと呼ばれる新しい拡張型DG手法を提案する。
AugLearnは、PACS、Office-Home、Digits-DGの3つの標準DGベンチマークで効果を示す。
論文 参考訳（メタデータ） (2022-10-25T18:51:51Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳（メタデータ） (2022-03-08T09:57:48Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。