論文の概要: RanDumb: A Simple Approach that Questions the Efficacy of Continual Representation Learning

• arxiv url: http://arxiv.org/abs/2402.08823v1
• Date: Tue, 13 Feb 2024 22:07:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 17:31:49.264670
• Title: RanDumb: A Simple Approach that Questions the Efficacy of Continual Representation Learning
• Title（参考訳）: randumb: 継続的表現学習の有効性を疑問視するシンプルなアプローチ
• Authors: Ameya Prabhu, Shiven Sinha, Ponnurangam Kumaraguru, Philip H.S. Torr, Ozan Sener, Puneet K. Dokania
• Abstract要約: RanDumbは、RBF-カーネルを近似した固定ランダム変換を用いて生のピクセルを埋め込む。 RanDumbは深層ネットワークを用いて継続的に学習された表現を著しく上回っている。
• 参考スコア（独自算出の注目度）: 72.50714537242183
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose RanDumb to examine the efficacy of continual representation learning. RanDumb embeds raw pixels using a fixed random transform which approximates an RBF-Kernel, initialized before seeing any data, and learns a simple linear classifier on top. We present a surprising and consistent finding: RanDumb significantly outperforms the continually learned representations using deep networks across numerous continual learning benchmarks, demonstrating the poor performance of representation learning in these scenarios. RanDumb stores no exemplars and performs a single pass over the data, processing one sample at a time. It complements GDumb, operating in a low-exemplar regime where GDumb has especially poor performance. We reach the same consistent conclusions when RanDumb is extended to scenarios with pretrained models replacing the random transform with pretrained feature extractor. Our investigation is both surprising and alarming as it questions our understanding of how to effectively design and train models that require efficient continual representation learning, and necessitates a principled reinvestigation of the widely explored problem formulation itself. Our code is available at https://github.com/drimpossible/RanDumb.
• Abstract（参考訳）: 我々は,連続表現学習の有効性を検討するためにrandumbを提案する。 RanDumb は RBF-Kernel を近似した固定ランダム変換を用いて生のピクセルを埋め込み、データを見る前に初期化し、上に単純な線形分類器を学習する。 RanDumbは、多くの連続学習ベンチマークで深層ネットワークを用いて継続的に学習された表現を著しく上回り、これらのシナリオにおける表現学習の貧弱なパフォーマンスを示す。 RanDumbは前例を保存せず、データに1回のパスを実行し、一度に1つのサンプルを処理する。 GDumbはGDumbを補完し、GDumbは特にパフォーマンスが劣る低水準で運用している。 randumb がランダム変換を事前訓練された特徴抽出器に置き換える事前訓練されたモデルを持つシナリオに拡張されると、同じ一貫した結論に達する。 我々の調査は、効率的な連続表現学習を必要とするモデルを効果的に設計し、訓練する方法の理解に疑問を投げかけており、広く研究されている問題定式化そのものを再検討する必要がある。 私たちのコードはhttps://github.com/drimpossible/randumbで利用可能です。

関連論文リスト

• Transformers for Supervised Online Continual Learning [11.270594318662233]
  オンライン連続学習に変換器のコンテキスト内学習機能を活用する手法を提案する。 本手法は,画像位置定位のための大規模実世界ベンチマークであるCLOCにおいて,過去の最先端結果よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-03-03T16:12:20Z)
• A Comprehensive Empirical Evaluation on Online Continual Learning [20.39495058720296]
  オンライン連続学習に取り組む文献から手法を評価する。 画像分類の文脈におけるクラスインクリメンタル設定に焦点をあてる。 これらの手法をSplit-CIFAR100とSplit-TinyImagenetベンチマークで比較する。
  論文  参考訳（メタデータ） (2023-08-20T17:52:02Z)
• DLCFT: Deep Linear Continual Fine-Tuning for General Incremental Learning [29.80680408934347]
  事前学習した表現からモデルを連続的に微調整するインクリメンタルラーニングのための代替フレームワークを提案する。 本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。 本手法は,データ増分,タスク増分およびクラス増分学習問題において,一般的な連続学習設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T06:58:14Z)
• Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism [65.46524775457928]
  オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。 線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:12Z)
• New Insights on Reducing Abrupt Representation Change in Online Continual Learning [69.05515249097208]
  我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。 Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。 本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T01:37:00Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• Self-Supervised Training Enhances Online Continual Learning [37.91734641808391]
  連続学習では、システムは壊滅的な忘れずに、非定常データストリームから段階的に学習する必要があります。 自己教師付き事前トレーニングは、教師付き学習よりも一般化する機能をもたらす可能性がある。 我々の最善のシステムは、オンライン連続学習の最先端技術よりも、クラスインクリメンタルイメージネットにおいて、トップ1の精度を14.95%向上させる。
  論文  参考訳（メタデータ） (2021-03-25T17:45:27Z)
• Fully Convolutional Networks for Continuous Sign Language Recognition [83.85895472824221]
  連続手話認識は、空間次元と時間次元の両方の学習を必要とする困難なタスクである。 本稿では,オンラインSLRのための完全畳み込みネットワーク (FCN) を提案し,弱い注釈付きビデオシーケンスから空間的特徴と時間的特徴を同時に学習する。
  論文  参考訳（メタデータ） (2020-07-24T08:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。