論文の概要: Watch Your Step: Optimal Retrieval for Continual Learning at Scale
- arxiv url: http://arxiv.org/abs/2404.10758v1
- Date: Tue, 16 Apr 2024 17:35:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 15:45:38.716672
- Title: Watch Your Step: Optimal Retrieval for Continual Learning at Scale
- Title(参考訳): ステップを見る - 継続的学習のための最適な検索方法
- Authors: Truman Hickok, Dhireesha Kudithipudi,
- Abstract要約: 本稿では,単純で独立したクラス選択型プリミティブとサンプル選択型プリミティブによって分類された選択的検索戦略を評価するためのフレームワークを提案する。
本稿では,重複したリプレイを防止し,損失値の低い新しいサンプルをリプレイなしで学習できるかどうかを探索する戦略を提案する。
問題設定を現実的な連続学習パイプラインに合わせるために、我々は実験を、大規模で訓練済みでオープンな語彙オブジェクト検出モデルを含む設定に制限する。
- 参考スコア(独自算出の注目度): 1.7265013728931
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the most widely used approaches in continual learning is referred to as replay. Replay methods support interleaved learning by storing past experiences in a replay buffer. Although there are methods for selectively constructing the buffer and reprocessing its contents, there is limited exploration of the problem of selectively retrieving samples from the buffer. Current solutions have been tested in limited settings and, more importantly, in isolation. Existing work has also not explored the impact of duplicate replays on performance. In this work, we propose a framework for evaluating selective retrieval strategies, categorized by simple, independent class- and sample-selective primitives. We evaluated several combinations of existing strategies for selective retrieval and present their performances. Furthermore, we propose a set of strategies to prevent duplicate replays and explore whether new samples with low loss values can be learned without replay. In an effort to match our problem setting to a realistic continual learning pipeline, we restrict our experiments to a setting involving a large, pre-trained, open vocabulary object detection model, which is fully fine-tuned on a sequence of 15 datasets.
- Abstract(参考訳): 継続的学習における最も広く使われているアプローチの1つは、リプレイと呼ばれる。
リプレイ手法は、過去の体験をリプレイバッファに格納することで、インターリーブドラーニングをサポートする。
バッファを選択的に構築し、その内容を再処理する方法は存在するが、バッファからサンプルを選択的に取り出すという問題については限定的な検討がなされている。
現在のソリューションは限定的な設定でテストされている。
既存の作業は、重複したリプレイがパフォーマンスに与える影響についても調査していない。
本研究では, 単純, 独立なクラス選択プリミティブとサンプル選択プリミティブによって分類された選択的検索戦略を評価するためのフレームワークを提案する。
選択検索のための既存手法の組合せを評価し,その性能について検討した。
さらに,重複したリプレイを防止し,損失値の低い新しいサンプルを再生せずに学習できるかどうかを探索する戦略を提案する。
問題設定を現実的な連続的な学習パイプラインに合わせるために、我々は実験を、15のデータセットのシーケンスで完全に微調整された、大規模で訓練済みのオープンな語彙オブジェクト検出モデルを含む設定に制限する。
関連論文リスト
- Frugal Actor-Critic: Sample Efficient Off-Policy Deep Reinforcement
Learning Using Unique Experiences [8.983448736644382]
リプレイバッファの効率的な利用は、非政治アクター-犯罪強化学習(RL)アルゴリズムにおいて重要な役割を担っている。
本稿では,ユニークなサンプルを選択してリプレイバッファに追加することに焦点を当てた,サンプル効率を実現する手法を提案する。
論文 参考訳(メタデータ) (2024-02-05T10:04:00Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Class-Wise Buffer Management for Incremental Object Detection: An
Effective Buffer Training Strategy [11.109975137910881]
クラスインクリメンタル学習は、既存のモデルに目に見えないクラスインスタンスを継続的に追加する際に発生する問題を解決することを目的としている。
オブジェクト検出に最適化されたリプレイバッファを生成する効果的なバッファトレーニング戦略(eBTS)を導入する。
論文 参考訳(メタデータ) (2023-12-14T17:10:09Z) - Combating Label Noise With A General Surrogate Model For Sample
Selection [84.61367781175984]
本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。
提案手法の有効性を実世界および合成ノイズデータセットで検証した。
論文 参考訳(メタデータ) (2023-10-16T14:43:27Z) - Continual Learning with Strong Experience Replay [32.154995019080594]
SER(Strong Experience Replay)を用いたCL法を提案する。
SERは、メモリバッファから過去の経験を蒸留する以外に、現在のトレーニングデータに模倣された将来の経験を利用する。
複数の画像分類データセットによる実験結果から,SER法が最先端の手法をはるかに上回ることがわかった。
論文 参考訳(メタデータ) (2023-05-23T02:42:54Z) - vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。
vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。
本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
論文 参考訳(メタデータ) (2022-01-23T22:14:17Z) - Replay For Safety [51.11953997546418]
経験的なリプレイでは、過去の遷移はメモリバッファに格納され、学習中に再使用される。
適切なバイアスサンプリング方式を用いることで,エファンセーフなポリシーを実現できることを示す。
論文 参考訳(メタデータ) (2021-12-08T11:10:57Z) - An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。
いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。
連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
論文 参考訳(メタデータ) (2021-08-15T15:05:02Z) - Distilled Replay: Overcoming Forgetting through Synthetic Samples [11.240947363668242]
リプレイ戦略は、過去の経験からパターンのバッファを保持することで破滅的な忘れを緩和する継続的学習技術である。
この研究は、非常に小さなバッファを維持して忘れを緩和できる、連続学習のための新しいリプレイ戦略である蒸留リプレイを紹介している。
データセットからランダムにパターンを抽出したnaive replayに対する蒸留リプレイの有効性を,4つの一般的な連続学習ベンチマークで示す。
論文 参考訳(メタデータ) (2021-03-29T18:02:05Z) - Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。
まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。
第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文 参考訳(メタデータ) (2021-01-20T11:48:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。