論文の概要: AdaptCL: Adaptive Continual Learning for Tackling Heterogeneity in Sequential Datasets

• arxiv url: http://arxiv.org/abs/2207.11005v3
• Date: Mon, 11 Dec 2023 15:05:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 23:05:42.997478
• Title: AdaptCL: Adaptive Continual Learning for Tackling Heterogeneity in Sequential Datasets
• Title（参考訳）: adaptcl: 逐次データセットにおける不均一性に取り組むための適応型連続学習
• Authors: Yuqing Zhao, Divya Saxena, Jiannong Cao
• Abstract要約: AdaptCLは、異種データセットに取り組むための新しい適応型連続学習手法である。 データ複雑性とデータセットサイズの変化に対応するために、きめ細かいデータ駆動プルーニングを採用している。 また、タスクに依存しないパラメータ分離を利用して、破滅的な忘れ方の影響を緩和する。
• 参考スコア（独自算出の注目度）: 13.065880037738108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Managing heterogeneous datasets that vary in complexity, size, and similarity in continual learning presents a significant challenge. Task-agnostic continual learning is necessary to address this challenge, as datasets with varying similarity pose difficulties in distinguishing task boundaries. Conventional task-agnostic continual learning practices typically rely on rehearsal or regularization techniques. However, rehearsal methods may struggle with varying dataset sizes and regulating the importance of old and new data due to rigid buffer sizes. Meanwhile, regularization methods apply generic constraints to promote generalization but can hinder performance when dealing with dissimilar datasets lacking shared features, necessitating a more adaptive approach. In this paper, we propose AdaptCL, a novel adaptive continual learning method to tackle heterogeneity in sequential datasets. AdaptCL employs fine-grained data-driven pruning to adapt to variations in data complexity and dataset size. It also utilizes task-agnostic parameter isolation to mitigate the impact of varying degrees of catastrophic forgetting caused by differences in data similarity. Through a two-pronged case study approach, we evaluate AdaptCL on both datasets of MNIST Variants and DomainNet, as well as datasets from different domains. The latter include both large-scale, diverse binary-class datasets and few-shot, multi-class datasets. Across all these scenarios, AdaptCL consistently exhibits robust performance, demonstrating its flexibility and general applicability in handling heterogeneous datasets.
• Abstract（参考訳）: 連続学習における複雑さ、サイズ、および類似性が異なる異種データセットを管理することは、大きな課題となる。 異なる類似性を持つデータセットは、タスク境界の識別に困難をもたらすため、タスクに依存しない連続学習は、この課題に対処するために必要である。 従来のタスク非依存の継続的学習プラクティスは、リハーサルや正規化技術に依存している。 しかし、リハーサル法はデータセットサイズの変化に苦慮し、バッファサイズが硬いため、古いデータや新しいデータの重要性を規制する。 一方、正規化手法は一般化を促進するために一般的な制約を適用するが、共有機能に欠ける異種データセットを扱う場合のパフォーマンスを阻害し、より適応的なアプローチを必要とする。 本稿では,逐次データセットの不均一性に対処する適応型連続学習手法AdaptCLを提案する。 adaptclは、データ複雑性とデータセットサイズの変化に対応するために、きめ細かいデータ駆動プルーニングを採用している。 また、タスクに依存しないパラメータ分離を利用して、データ類似性の相違による破滅的な忘れ方の影響を緩和する。 2段階のケーススタディアプローチにより、mnist変種とdomainnetのデータセットと異なるドメインのデータセットの両方についてadaptclを評価する。 後者には、大規模で多様なバイナリクラスデータセットと、少数のマルチクラスデータセットが含まれている。 これらすべてのシナリオにおいて、AdaptCLは一貫して堅牢なパフォーマンスを示し、異種データセットを扱う際の柔軟性と一般的な適用性を示している。

関連論文リスト

• Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
  フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。 伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。 新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
  論文  参考訳（メタデータ） (2024-09-18T16:25:29Z)
• What is different between these datasets? [23.271594219577185]
  同じドメイン内の2つの同等のデータセットは、異なる分布を持つ可能性がある。 本稿では,2つのデータセットを比較するための解釈可能な手法(ツールボックス)を提案する。 我々の手法は、説明品質と正確性の観点から比較および関連するアプローチよりも優れているだけでなく、データセットの違いを効果的に理解し軽減するための実用的な補完的な洞察を提供する。
  論文  参考訳（メタデータ） (2024-03-08T19:52:39Z)
• SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
  我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。 両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。 実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
  論文  参考訳（メタデータ） (2023-04-06T17:36:23Z)
• Metadata Archaeology: Unearthing Data Subsets by Leveraging Training Dynamics [3.9627732117855414]
  メタデータ考古学のための統一的で効率的なフレームワークを提供することに注力する。 データセットに存在する可能性のあるデータのさまざまなサブセットをキュレートします。 これらのプローブスイート間の学習力学の相違を利用して、関心のメタデータを推測する。
  論文  参考訳（メタデータ） (2022-09-20T21:52:39Z)
• Detection Hub: Unifying Object Detection Datasets via Query Adaptation on Language Embedding [137.3719377780593]
  新しいデザイン(De Detection Hubという名前)は、データセット認識とカテゴリ整列である。 データセットの不整合を緩和し、検出器が複数のデータセットをまたいで学習するための一貫性のあるガイダンスを提供する。 データセット間のカテゴリは、ワンホットなカテゴリ表現を単語埋め込みに置き換えることで、意味的に統一された空間に整列される。
  論文  参考訳（メタデータ） (2022-06-07T17:59:44Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Learning Semantic Segmentation from Multiple Datasets with Label Shifts [101.24334184653355]
  本論文では,ラベル空間が異なる複数のデータセットを対象としたモデルの自動学習手法であるUniSegを提案する。 具体的には,ラベルの相反と共起を考慮に入れた2つの損失を提案する。
  論文  参考訳（メタデータ） (2022-02-28T18:55:19Z)
• DAIL: Dataset-Aware and Invariant Learning for Face Recognition [67.4903809903022]
  顔認識の性能向上のためには、通常大規模なトレーニングデータセットが必要である。 2つの大きな問題のために異なるデータセットを自然に組み合わせるのは問題で面倒です。 トレーニング中に異なるデータセットの異なるクラスと同じ人を扱うことは、バックプロパゲーションに影響します。 手動でラベルをクリーニングするには 人的努力が要る 特に何百万もの画像と何千ものIDがある時は
  論文  参考訳（メタデータ） (2021-01-14T01:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。