論文の概要: Random Representations Outperform Online Continually Learned Representations

• arxiv url: http://arxiv.org/abs/2402.08823v3
• Date: Wed, 20 Nov 2024 14:33:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:10:59.226535
• Title: Random Representations Outperform Online Continually Learned Representations
• Title（参考訳）: ランダム表現はオンライン連続学習表現より優れる
• Authors: Ameya Prabhu, Shiven Sinha, Ponnurangam Kumaraguru, Philip H. S. Torr, Ozan Sener, Puneet K. Dokania,
• Abstract要約: 既存のオンライン学習深層ネットワークは、単純な事前定義されたランダム変換に比べて劣った表現を生成することを示す。 我々の手法はRanDumbと呼ばれ、あらゆるオンライン連続学習ベンチマークにおいて、最先端の学習表現を著しく上回っている。 本研究は, 表現学習の大きな限界, 特に低経験, オンライン連続学習のシナリオについて明らかにした。
• 参考スコア（独自算出の注目度）: 68.42776779425978
• License:
• Abstract: Continual learning has primarily focused on the issue of catastrophic forgetting and the associated stability-plasticity tradeoffs. However, little attention has been paid to the efficacy of continually learned representations, as representations are learned alongside classifiers throughout the learning process. Our primary contribution is empirically demonstrating that existing online continually trained deep networks produce inferior representations compared to a simple pre-defined random transforms. Our approach projects raw pixels using a fixed random transform, approximating an RBF-Kernel initialized before any data is seen. We then train a simple linear classifier on top without storing any exemplars, processing one sample at a time in an online continual learning setting. This method, called RanDumb, significantly outperforms state-of-the-art continually learned representations across all standard online continual learning benchmarks. Our study reveals the significant limitations of representation learning, particularly in low-exemplar and online continual learning scenarios. Extending our investigation to popular exemplar-free scenarios with pretrained models, we find that training only a linear classifier on top of pretrained representations surpasses most continual fine-tuning and prompt-tuning strategies. Overall, our investigation challenges the prevailing assumptions about effective representation learning in online continual learning. Our code is available at://github.com/drimpossible/RanDumb.
• Abstract（参考訳）: 継続的な学習は主に破滅的な忘れとそれに伴う安定性と塑性のトレードオフの問題に焦点を当ててきた。 しかし, 学習過程を通じて, 分類器とともに表現が学習されるため, 継続的に学習される表現の有効性にはほとんど注意が払われていない。 我々の主な貢献は、既存のオンライン訓練されたディープ・ネットワークが、単純な事前定義されたランダム・トランスフォーメーションに比べて劣った表現を生成することを実証的に示すことである。 提案手法は, RBF-Kernel を初期化して, 固定ランダム変換を用いて生画素を投影する手法である。 続いて、オンライン連続学習環境において、前例を保存せずに単純な線形分類器をトレーニングし、一度に1つのサンプルを処理します。 RanDumbと呼ばれるこの手法は、すべての標準オンライン連続学習ベンチマークにおいて、最先端の学習表現を著しく上回っている。 本研究は, 表現学習の大きな限界, 特に低経験, オンライン連続学習のシナリオについて明らかにした。 事前訓練されたモデルを用いた一般的な模範のないシナリオへの調査の拡張により、事前訓練された表現の上に線形分類器のみを訓練することは、ほとんどの連続的な微調整および迅速な調整戦略を超越していることが判明した。 本研究は,オンライン連続学習における効果的な表現学習に関する一般的な仮定に挑戦する。 私たちのコードは://github.com/drimpossible/RanDumb.comで入手可能です。

関連論文リスト

• Learning Equi-angular Representations for Online Continual Learning [28.047867978274358]
  特に, 神経崩壊を誘発し, 表現空間に単純な等角的タイトフレーム(ETF)構造を形成する。 提案手法は,様々なオンライン連続学習シナリオにおいて,最先端の手法よりも顕著に優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-02T04:29:01Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• A Comprehensive Empirical Evaluation on Online Continual Learning [20.39495058720296]
  オンライン連続学習に取り組む文献から手法を評価する。 画像分類の文脈におけるクラスインクリメンタル設定に焦点をあてる。 これらの手法をSplit-CIFAR100とSplit-TinyImagenetベンチマークで比較する。
  論文  参考訳（メタデータ） (2023-08-20T17:52:02Z)
• DLCFT: Deep Linear Continual Fine-Tuning for General Incremental Learning [29.80680408934347]
  事前学習した表現からモデルを連続的に微調整するインクリメンタルラーニングのための代替フレームワークを提案する。 本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。 本手法は,データ増分,タスク増分およびクラス増分学習問題において,一般的な連続学習設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T06:58:14Z)
• Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism [65.46524775457928]
  オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。 線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:12Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• Self-Supervised Training Enhances Online Continual Learning [37.91734641808391]
  連続学習では、システムは壊滅的な忘れずに、非定常データストリームから段階的に学習する必要があります。 自己教師付き事前トレーニングは、教師付き学習よりも一般化する機能をもたらす可能性がある。 我々の最善のシステムは、オンライン連続学習の最先端技術よりも、クラスインクリメンタルイメージネットにおいて、トップ1の精度を14.95%向上させる。
  論文  参考訳（メタデータ） (2021-03-25T17:45:27Z)
• Fully Convolutional Networks for Continuous Sign Language Recognition [83.85895472824221]
  連続手話認識は、空間次元と時間次元の両方の学習を必要とする困難なタスクである。 本稿では,オンラインSLRのための完全畳み込みネットワーク (FCN) を提案し,弱い注釈付きビデオシーケンスから空間的特徴と時間的特徴を同時に学習する。
  論文  参考訳（メタデータ） (2020-07-24T08:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。