論文の概要: RanDumb: A Simple Approach that Questions the Efficacy of Continual
Representation Learning
- arxiv url: http://arxiv.org/abs/2402.08823v1
- Date: Tue, 13 Feb 2024 22:07:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 17:31:49.264670
- Title: RanDumb: A Simple Approach that Questions the Efficacy of Continual
Representation Learning
- Title(参考訳): randumb: 継続的表現学習の有効性を疑問視するシンプルなアプローチ
- Authors: Ameya Prabhu, Shiven Sinha, Ponnurangam Kumaraguru, Philip H.S. Torr,
Ozan Sener, Puneet K. Dokania
- Abstract要約: RanDumbは、RBF-カーネルを近似した固定ランダム変換を用いて生のピクセルを埋め込む。
RanDumbは深層ネットワークを用いて継続的に学習された表現を著しく上回っている。
- 参考スコア(独自算出の注目度): 72.50714537242183
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose RanDumb to examine the efficacy of continual representation
learning. RanDumb embeds raw pixels using a fixed random transform which
approximates an RBF-Kernel, initialized before seeing any data, and learns a
simple linear classifier on top. We present a surprising and consistent
finding: RanDumb significantly outperforms the continually learned
representations using deep networks across numerous continual learning
benchmarks, demonstrating the poor performance of representation learning in
these scenarios. RanDumb stores no exemplars and performs a single pass over
the data, processing one sample at a time. It complements GDumb, operating in a
low-exemplar regime where GDumb has especially poor performance. We reach the
same consistent conclusions when RanDumb is extended to scenarios with
pretrained models replacing the random transform with pretrained feature
extractor. Our investigation is both surprising and alarming as it questions
our understanding of how to effectively design and train models that require
efficient continual representation learning, and necessitates a principled
reinvestigation of the widely explored problem formulation itself. Our code is
available at https://github.com/drimpossible/RanDumb.
- Abstract(参考訳): 我々は,連続表現学習の有効性を検討するためにrandumbを提案する。
RanDumb は RBF-Kernel を近似した固定ランダム変換を用いて生のピクセルを埋め込み、データを見る前に初期化し、上に単純な線形分類器を学習する。
RanDumbは、多くの連続学習ベンチマークで深層ネットワークを用いて継続的に学習された表現を著しく上回り、これらのシナリオにおける表現学習の貧弱なパフォーマンスを示す。
RanDumbは前例を保存せず、データに1回のパスを実行し、一度に1つのサンプルを処理する。
GDumbはGDumbを補完し、GDumbは特にパフォーマンスが劣る低水準で運用している。
randumb がランダム変換を事前訓練された特徴抽出器に置き換える事前訓練されたモデルを持つシナリオに拡張されると、同じ一貫した結論に達する。
我々の調査は、効率的な連続表現学習を必要とするモデルを効果的に設計し、訓練する方法の理解に疑問を投げかけており、広く研究されている問題定式化そのものを再検討する必要がある。
私たちのコードはhttps://github.com/drimpossible/randumbで利用可能です。
関連論文リスト
- Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。
我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
論文 参考訳(メタデータ) (2023-09-21T10:14:53Z) - Learning Robust and Consistent Time Series Representations: A Dilated
Inception-Based Approach [14.344468798269622]
本稿では,自然時系列におけるノイズの存在下で一貫した表現学習を促進する新しいサンプリング手法を提案する。
また、インセプションブロック内の拡張畳み込みを利用してスケーラブルで堅牢なネットワークアーキテクチャを構築するエンコーダアーキテクチャを提案する。
本手法は,予測,分類,異常検出タスクにおいて常に最先端の手法より優れる。
論文 参考訳(メタデータ) (2023-06-11T04:00:11Z) - Learning Representations on the Unit Sphere: Investigating Angular
Gaussian and von Mises-Fisher Distributions for Online Continual Learning [7.145581090959242]
本稿では,新たな損失関数を備えたメモリベース表現学習手法を提案する。
提案手法は,タスク境界がぼやけた標準的な評価シナリオと現実的なシナリオの両方において,現状の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-06T02:38:01Z) - Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
メトリクス学習はコンピュータビジョンの基本的な問題である。
蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。
特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
論文 参考訳(メタデータ) (2023-03-30T03:22:52Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳(メタデータ) (2022-10-10T08:27:28Z) - Convolutional Sparse Coding Fast Approximation with Application to
Seismic Reflectivity Estimation [9.005280130480308]
2~5回の反復で畳み込みスパース符号の良好な近似を生成する古典的反復しきい値アルゴリズムの高速化版を提案する。
提案手法の性能は, 合成シナリオと実データシナリオの両方において, 地震インバージョン問題によって実証される。
論文 参考訳(メタデータ) (2021-06-29T12:19:07Z) - SuctionNet-1Billion: A Large-Scale Benchmark for Suction Grasping [47.221326169627666]
吸引つかみのシール形成とレンチ抵抗を解析的に評価する新しい物理モデルを提案する。
現実世界の混乱したシナリオで収集された大規模データセットにアノテーションを生成するために、2段階の手法が採用されている。
連続運転空間における吸入ポーズを評価するための標準オンライン評価システムを提案する。
論文 参考訳(メタデータ) (2021-03-23T05:02:52Z) - Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。
ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。
連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-04T06:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。