論文の概要: A Unified Approach to Domain Incremental Learning with Memory: Theory and Algorithm

• arxiv url: http://arxiv.org/abs/2310.12244v1
• Date: Wed, 18 Oct 2023 18:30:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 18:18:09.502101
• Title: A Unified Approach to Domain Incremental Learning with Memory: Theory and Algorithm
• Title（参考訳）: 記憶を伴うドメイン増分学習への統一的アプローチ:理論とアルゴリズム
• Authors: Haizhou Shi, Hao Wang
• Abstract要約: 本稿では,Unified Domain Incremental Learning (UDIL, Unified Domain Incremental Learning) と呼ばれる統合フレームワークを提案する。 我々の UDIL**** は既存の様々なメソッドを統一し、我々の理論解析は、UDILがこれらのメソッドよりも厳密な一般化誤差を常に達成していることを示している。 実験の結果,我々のUDILは,合成データセットと実世界のデータセットの両方において,最先端のドメインインクリメンタルラーニング手法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 7.919690718820747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain incremental learning aims to adapt to a sequence of domains with access to only a small subset of data (i.e., memory) from previous domains. Various methods have been proposed for this problem, but it is still unclear how they are related and when practitioners should choose one method over another. In response, we propose a unified framework, dubbed Unified Domain Incremental Learning (UDIL), for domain incremental learning with memory. Our UDIL **unifies** various existing methods, and our theoretical analysis shows that UDIL always achieves a tighter generalization error bound compared to these methods. The key insight is that different existing methods correspond to our bound with different **fixed** coefficients; based on insights from this unification, our UDIL allows **adaptive** coefficients during training, thereby always achieving the tightest bound. Empirical results show that our UDIL outperforms the state-of-the-art domain incremental learning methods on both synthetic and real-world datasets. Code will be available at https://github.com/Wang-ML-Lab/unified-continual-learning.
• Abstract（参考訳）: ドメインインクリメンタル学習は、以前のドメインからのデータ(すなわちメモリ)のごく一部にアクセスするドメインのシーケンスに適応することを目的としている。 この問題に対して様々な方法が提案されているが、それらがどのような関係があるのか、いつ別の方法を選ぶべきかは不明である。 そこで本研究では,メモリを用いた領域インクリメンタル学習のための統一ドメインインクリメンタル学習(udil)という統一フレームワークを提案する。 我々の UDIL**** は既存の様々なメソッドを統一し、我々の理論解析は、UDILがこれらのメソッドよりも厳密な一般化誤差を常に達成していることを示している。 この統一からの洞察に基づいて、我々のudilはトレーニング中に**adaptive**係数を許容するので、常に最も密接な境界を達成することができる。 実験の結果,我々のUDILは,合成データセットと実世界のデータセットの両方において,最先端のドメインインクリメンタル学習手法よりも優れていた。 コードはhttps://github.com/Wang-ML-Lab/unified-continual-learningで入手できる。

関連論文リスト

• Sequential Editing for Lifelong Training of Speech Recognition Models [10.770491329674401]
  新しいドメインリスクにのみ焦点をあてた微調整(CF) ASRシステムにおける新しい領域を継続的に学習するための新しい手法としてシーケンスモデル編集を提案する。 本研究は,最大15%の単語誤り率削減(WERR)を微調整ベースライン上で実現し,CommonVoice English Multi-accent データセット上での他のLLL手法よりも優れた効率性を示した。
  論文  参考訳（メタデータ） (2024-06-25T20:52:09Z)
• MLNet: Mutual Learning Network with Neighborhood Invariance for Universal Domain Adaptation [70.62860473259444]
  ユニバーサルドメイン適応(UniDA)は実用的だが難しい問題である。 既存のUniDAメソッドは、ターゲットドメイン内のドメイン内バリエーションを見落としている問題に悩まされる可能性がある。 そこで我々は,UniDA の近傍不変性を考慮した新しい相互学習ネットワーク (MLNet) を提案する。
  論文  参考訳（メタデータ） (2023-12-13T03:17:34Z)
• Self-Paced Learning for Open-Set Domain Adaptation [50.620824701934]
  従来のドメイン適応手法は、ソースとターゲットドメインのクラスが同一であると仮定する。 オープンセットドメイン適応(OSDA)は、この制限に対処する。 そこで,本研究では,共通クラスと未知クラスを識別するための自己評価学習に基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-10T14:11:09Z)
• FIXED: Frustratingly Easy Domain Generalization with Mixup [53.782029033068675]
  ドメイン一般化(Domain Generalization, DG)は、複数のトレーニングドメインから一般化可能なモデルを学ぶことを目的としている。 一般的な戦略は、Mixupcitezhang 2018mixupのようなメソッドによる一般化のためにトレーニングデータを拡張することである。 我々は、MixupベースのDG、すなわちドメイン不変の特徴mIXup(FIX)の簡易かつ効果的な拡張を提案する。 提案手法は,9つの最先端手法よりも優れており,試験精度の面では,ベースラインの平均6.5%を上回っている。
  論文  参考訳（メタデータ） (2022-11-07T09:38:34Z)
• Adversarial Feature Augmentation for Cross-domain Few-shot Classification [2.68796389443975]
  本稿では, ドメインギャップを補うために, 対角的特徴拡張法(AFA)を提案する。 提案手法はプラグイン・アンド・プレイモジュールであり,既存の数発学習手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2022-08-23T15:10:22Z)
• Learning Phone Recognition from Unpaired Audio and Phone Sequences Based on Generative Adversarial Network [58.82343017711883]
  そこで本研究では,不適切な音声系列や発話から直接学習する方法について検討する。 GAN訓練を第1段階に導入し,無声音声と音声シーケンスのマッピング関係を求める。 第2段階では、発電機の出力からトレーニングするために別のHMMモデルが導入され、性能が向上する。
  論文  参考訳（メタデータ） (2022-07-29T09:29:28Z)
• Balancing Multi-Domain Corpora Learning for Open-Domain Response Generation [3.3242685629646256]
  オープンドメインの会話システムは、複数のドメインで等しく良い応答を生成すると仮定される。 本稿では,複数ドメインのコーパスに対して関連性のある応答を生成する手法について検討する。
  論文  参考訳（メタデータ） (2022-05-05T11:10:54Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Universal Representation Learning from Multiple Domains for Few-shot Classification [41.821234589075445]
  複数の個別に訓練されたネットワークの知識を蒸留し,一組の普遍的な深層表現を学習することを提案する。 より効率的な適応ステップにより、未確認領域に対する普遍表現をさらに洗練できることが示される。
  論文  参考訳（メタデータ） (2021-03-25T13:49:12Z)
• Domain Generalization in Biosignal Classification [37.70077538403524]
  本研究は,生体信号データの領域一般化を初めて研究したものである。 提案手法は4つの未確認領域に対して最大16%の精度向上を実現する。
  論文  参考訳（メタデータ） (2020-11-12T05:15:46Z)
• Towards Domain-Agnostic Contrastive Learning [103.40783553846751]
  そこで本研究では,DACLという対照的学習に対するドメインに依存しない新しいアプローチを提案する。 このアプローチの鍵となるのは、Mixupノイズを使用して、入力レベルと隠された状態レベルの両方で異なるデータサンプルを混合することで、類似した、異種なサンプルを作成することです。 以上の結果から,DACLはガウスノイズなどの他のドメインに依存しないノイズ発生手法よりも優れるだけでなく,SimCLRのようなドメイン固有の手法とうまく結合していることがわかった。
  論文  参考訳（メタデータ） (2020-11-09T13:41:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。