論文の概要: Universal Incremental Learning: Mitigating Confusion from Inter- and Intra-task Distribution Randomness

• arxiv url: http://arxiv.org/abs/2503.07035v1
• Date: Mon, 10 Mar 2025 08:20:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:48:03.509207
• Title: Universal Incremental Learning: Mitigating Confusion from Inter- and Intra-task Distribution Randomness
• Title（参考訳）: ユニバーサルインクリメンタルラーニング:タスク内およびタスク内分布のランダム性による融合の軽減
• Authors: Sheng Luo, Yi Zhou, Tao Zhou,
• Abstract要約: 増分学習は、新しいタスクを学習しながら、以前のタスクの忘れを克服することを目的としている。 既存のILメソッドは、入ってくるタスクタイプが新しいクラスやドメインだけを増やすと強く仮定します。 We propose a simple yet effective framework for UIL, named $textbfMiCo$。
• 参考スコア（独自算出の注目度）: 11.082975265204487
• License:
• Abstract: Incremental learning (IL) aims to overcome catastrophic forgetting of previous tasks while learning new ones. Existing IL methods make strong assumptions that the incoming task type will either only increases new classes or domains (i.e. Class IL, Domain IL), or increase by a static scale in a class- and domain-agnostic manner (i.e. Versatile IL (VIL)), which greatly limit their applicability in the unpredictable and dynamic wild. In this work, we investigate $\textbf{Universal Incremental Learning (UIL)}$, where a model neither knows which new classes or domains will increase along sequential tasks, nor the scale of the increments within each task. This uncertainty prevents the model from confidently learning knowledge from all task distributions and symmetrically focusing on the diverse knowledge within each task distribution. Consequently, UIL presents a more general and realistic IL scenario, making the model face confusion arising from inter-task and intra-task distribution randomness. To $\textbf{Mi}$tigate both $\textbf{Co}$nfusion, we propose a simple yet effective framework for UIL, named $\textbf{MiCo}$. At the inter-task distribution level, we employ a multi-objective learning scheme to enforce accurate and deterministic predictions, and its effectiveness is further enhanced by a direction recalibration module that reduces conflicting gradients. Moreover, at the intra-task distribution level, we introduce a magnitude recalibration module to alleviate asymmetrical optimization towards imbalanced class distribution. Extensive experiments on three benchmarks demonstrate the effectiveness of our method, outperforming existing state-of-the-art methods in both the UIL scenario and the VIL scenario. Our code will be available at $\href{https://github.com/rolsheng/UIL}{here}$.
• Abstract（参考訳）: インクリメンタルラーニング(IL)は、新しいタスクを学習しながら、過去のタスクの破滅的な忘れを克服することを目的としている。 既存のILメソッドは、入ってくるタスクタイプが新しいクラスやドメイン(例えば、クラスIL、ドメインIL)だけを増加させるか、クラスやドメインに依存しない方法で静的なスケール(すなわち、Versatile IL(VIL))で増加し、予測不可能でダイナミックな野における適用性を大幅に制限する、という強い仮定を立てている。 In this work, we investigated $\textbf{Universal Incremental Learning (UIL)$, where a model can know that new class and domain will increase along sequence task, and the scale of the increments within each task。 この不確実性は、モデルがすべてのタスク分布から自信を持って知識を学び、各タスク分布内の多様な知識に対称的に焦点を合わせるのを防ぐ。 その結果、UILはより汎用的で現実的なILシナリオを示し、モデルがタスク間およびタスク内分布ランダム性から生じる混乱に直面している。 $\textbf{Mi}$tigate both $\textbf{Co}$nfusion, we propose a simple yet effective framework for UIL, named $\textbf{MiCo}$。 タスク間分布レベルでは,高精度で決定論的な予測を行うために多目的学習方式を用いており,その効果は,矛盾する勾配を減少させる方向修正モジュールによってさらに高められる。 さらに、タスク内分布レベルでは、不均衡なクラス分布に対する非対称最適化を緩和する等級補正モジュールを導入する。 UILシナリオとVILシナリオの両方において,既存の最先端手法よりも優れていることを示す。 私たちのコードは$\href{https://github.com/rolsheng/UIL}{here}$で利用可能です。

関連論文リスト

• Navigating Semantic Drift in Task-Agnostic Class-Incremental Learning [51.177789437682954]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、モデルが学習したクラスの知識を維持しつつ、新しいクラスを逐次学習できるようにすることを目的とする。 柔軟性と安定性のバランスをとることは、特にタスクIDが不明な場合には、依然として大きな課題である。 本研究では,平均シフト補償と共分散校正を組み合わせたセマンティックドリフト校正法を提案する。
  論文  参考訳（メタデータ） (2025-02-11T13:57:30Z)
• Versatile Incremental Learning: Towards Class and Domain-Agnostic Incremental Learning [16.318126586825734]
  インクリメンタルラーニング(IL)は、逐次入力タスクから知識を蓄積することを目的としている。 私たちはVersatile Incremental Learning (VIL) という,より挑戦的で現実的で,未探索のILシナリオを考えています。 Incremental with Shift cONtrol (ICON) という,シンプルで効果的なILフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-17T07:44:28Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Improved Active Multi-Task Representation Learning via Lasso [44.607652031235716]
  本稿では,L1-regularized-relevance-based(nu1$)戦略の優位性を示す。 また、サンプルコストに敏感な設定で$nu1$ベースの戦略の可能性を特徴付けます。
  論文  参考訳（メタデータ） (2023-06-05T03:08:29Z)
• Towards Understanding and Improving GFlowNet Training [71.85707593318297]
  本稿では,学習したサンプリング分布と目標報酬分布を比較するための効率的な評価手法を提案する。 本稿では,高解像度のx$,相対的エッジフローポリシーのパラメータ化,新しい軌道バランス目標を提案する。
  論文  参考訳（メタデータ） (2023-05-11T22:50:41Z)
• Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
  本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。 本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。 提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
  論文  参考訳（メタデータ） (2023-04-04T17:59:04Z)
• Self-Supervised Learning by Estimating Twin Class Distributions [26.7828253129684]
  本稿では,大規模未ラベルデータセットをエンドツーエンドに分類し,自己教師付き表現学習手法TWISTを提案する。 2つの拡張画像の2つのクラス分布を生成するために、ソフトマックス演算で終了するシマセネットワークを用いる。 具体的には、各サンプルの分布のエントロピーを最小化し、各サンプルのクラス予測を行い、平均分布のエントロピーを最大化し、異なるサンプルの予測を多様化させる。
  論文  参考訳（メタデータ） (2021-10-14T14:39:39Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Uncertainty-Aware Consistency Regularization for Cross-Domain Semantic Segmentation [63.75774438196315]
  Unsupervised Domain adapt (UDA) は、未ラベルのデータのみを持つ新しいターゲットドメインにソースドメインの既存のモデルを適用することを目的としている。 既存のほとんどの手法は、エラーを起こしやすい識別器ネットワークまたは不合理な教師モデルから生じる顕著な負の伝達に悩まされている。 ドメイン間セマンティックセグメンテーションのための不確実性を考慮した整合性正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-04-19T15:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。