論文の概要: Online Analytic Exemplar-Free Continual Learning with Large Models for Imbalanced Autonomous Driving Task
- arxiv url: http://arxiv.org/abs/2405.17779v2
- Date: Tue, 05 Nov 2024 15:56:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-06 14:55:42.637939
- Title: Online Analytic Exemplar-Free Continual Learning with Large Models for Imbalanced Autonomous Driving Task
- Title（参考訳）: 不均衡自律運転課題に対する大規模モデルを用いたオンライン分析的初等連続学習
- Authors: Huiping Zhuang, Di Fang, Kai Tong, Yuchen Liu, Ziqian Zeng, Xu Zhou, Cen Chen,
- Abstract要約: AEF-OCL (Analytic Exemplar-Free Online Continual Learning Algorithm) を提案する。
AEF-OCLは解析的連続学習原理を活用し、大きなバックボーンネットワークによって抽出された特徴の分類器としてリッジ回帰を用いる。
実験結果から, 自動走行SODA10Mデータセットにおいて, 提案手法は, 既往の戦略であるにもかかわらず, 様々な手法より優れていることが示された。
- 参考スコア（独自算出の注目度）: 25.38082751323396
- License:
- Abstract: In autonomous driving, even a meticulously trained model can encounter failures when facing unfamiliar scenarios. One of these scenarios can be formulated as an online continual learning (OCL) problem. That is, data come in an online fashion, and models are updated according to these streaming data. Two major OCL challenges are catastrophic forgetting and data imbalance. To address these challenges, in this paper, we propose an Analytic Exemplar-Free Online Continual Learning algorithm (AEF-OCL). The AEF-OCL leverages analytic continual learning principles and employs ridge regression as a classifier for features extracted by a large backbone network. It solves the OCL problem by recursively calculating the analytical solution, ensuring an equalization between the continual learning and its joint-learning counterpart, and works without the need to save any used samples (i.e., exemplar-free). Additionally, we introduce a Pseudo-Features Generator (PFG) module that recursively estimates the mean and the variance of real features for each class. It over-samples offset pseudo-features from the same normal distribution as the real features, thereby addressing the data imbalance issue. Experimental results demonstrate that despite being an exemplar-free strategy, our method outperforms various methods on the autonomous driving SODA10M dataset. Source code is available at https://github.com/ZHUANGHP/Analytic-continual-learning.
- Abstract（参考訳）: 自律運転では、微妙に訓練されたモデルでさえ、馴染みのないシナリオに直面しているときに失敗に直面することがある。
これらのシナリオの1つは、オンライン連続学習(OCL)問題として定式化することができる。
つまり、データはオンライン形式で提供され、これらのストリーミングデータに従ってモデルが更新される。
OCLの2つの大きな課題は、壊滅的な忘れとデータの不均衡である。
本稿では,AEF-OCL(Analytic Exemplar-Free Online Continual Learning Algorithm)を提案する。
AEF-OCLは解析的連続学習原理を活用し、大きなバックボーンネットワークによって抽出された特徴の分類器としてリッジ回帰を用いる。
分析解を再帰的に計算し、継続学習と共同学習の等化を保証することでOCL問題を解決し、使用済みサンプル(例題なし)を保存せずに機能する。
さらにPseudo-Features Generator (PFG)モジュールを導入し、各クラスの平均と実際の特徴の分散を再帰的に推定する。
実際の特徴と同じ正規分布からオフセットの擬似特徴をオーバーサンプリングし、データ不均衡の問題に対処する。
実験結果から, 自動走行SODA10Mデータセットにおいて, 提案手法は, 既往の戦略であるにもかかわらず, 様々な手法より優れていることが示された。
ソースコードはhttps://github.com/ZHUANGHP/Analytic-Continual-learningで入手できる。
関連論文リスト
- AIR: Analytic Imbalance Rectifier for Continual Learning [16.917778190250353]
継続的な学習により、AIモデルは現実世界のシナリオを再トレーニングすることなく、シーケンシャルに新しいデータを学習することができる。
既存のほとんどの手法では、トレーニングデータはバランスが取れていると仮定しており、モデルが以前に生成されたデータを忘れる傾向にある問題を減らそうとしている。
この問題を解決するために解析的不均衡アルゴリズム(AIR)を提案する。
論文 参考訳（メタデータ） (2024-08-19T18:42:00Z) - Online Cascade Learning for Efficient Inference over Streams [9.516197133796437]
大規模言語モデル(LLM)は、データストリームに関する複雑なクエリに応答する自然な役割を持つ。
この課題に対処する最初のアプローチであるオンラインカスケード学習を提案する。
我々は,オンラインでカスケードを学習するタスクを模倣学習問題として定式化する。
論文 参考訳（メタデータ） (2024-02-07T01:46:50Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳（メタデータ） (2023-06-14T11:41:42Z) - Continual Learning with Optimal Transport based Mixture Model [17.398605698033656]
成熟最適輸送理論(OT-MM)の優れた性質に基づくオンライン混合モデル学習手法を提案する。
提案手法は,現在の最先端のベースラインを大きく上回ることができる。
論文 参考訳（メタデータ） (2022-11-30T06:40:29Z) - Causal Deep Reinforcement Learning Using Observational Data [11.790171301328158]
深部強化学習(DRL)における2つの解答法を提案する。
提案手法はまず, 因果推論法に基づいて異なる試料の重要度を算出し, 損失関数に対する異なる試料の影響を調整する。
本手法の有効性を実証し,実験的に検証する。
論文 参考訳（メタデータ） (2022-11-28T14:34:39Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Winning solutions and post-challenge analyses of the ChaLearn AutoDL
challenge 2019 [112.36155380260655]
本稿では,ChaLearnのAutoDLチャレンジシリーズの結果と今後の課題について述べる。
その結果,一般的なニューラルネットワーク探索(NAS)は実用的ではなかったものの,DL手法が支配的であったことが示唆された。
メタラーナー"、"データインジェクタ"、"モデルセレクタ"、"モデル/ラーナー"、"評価器"を特徴とする、ハイレベルなモジュール化組織が登場した。
論文 参考訳（メタデータ） (2022-01-11T06:21:18Z) - Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。
フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。
本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文 参考訳（メタデータ） (2021-06-24T05:19:26Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳（メタデータ） (2021-06-06T00:04:49Z) - Learning summary features of time series for likelihood free inference [93.08098361687722]
時系列データから要約機能を自動的に学習するためのデータ駆動型戦略を提案する。
以上の結果から,データから要約的特徴を学習することで,手作りの値に基づいてLFI手法よりも優れる可能性が示唆された。
論文 参考訳（メタデータ） (2020-12-04T19:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。