論文の概要: Watch Your Step: Optimal Retrieval for Continual Learning at Scale

• arxiv url: http://arxiv.org/abs/2404.10758v1
• Date: Tue, 16 Apr 2024 17:35:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 15:45:38.716672
• Title: Watch Your Step: Optimal Retrieval for Continual Learning at Scale
• Title（参考訳）: ステップを見る - 継続的学習のための最適な検索方法
• Authors: Truman Hickok, Dhireesha Kudithipudi,
• Abstract要約: 本稿では,単純で独立したクラス選択型プリミティブとサンプル選択型プリミティブによって分類された選択的検索戦略を評価するためのフレームワークを提案する。 本稿では,重複したリプレイを防止し,損失値の低い新しいサンプルをリプレイなしで学習できるかどうかを探索する戦略を提案する。 問題設定を現実的な連続学習パイプラインに合わせるために、我々は実験を、大規模で訓練済みでオープンな語彙オブジェクト検出モデルを含む設定に制限する。
• 参考スコア（独自算出の注目度）: 1.7265013728931
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the most widely used approaches in continual learning is referred to as replay. Replay methods support interleaved learning by storing past experiences in a replay buffer. Although there are methods for selectively constructing the buffer and reprocessing its contents, there is limited exploration of the problem of selectively retrieving samples from the buffer. Current solutions have been tested in limited settings and, more importantly, in isolation. Existing work has also not explored the impact of duplicate replays on performance. In this work, we propose a framework for evaluating selective retrieval strategies, categorized by simple, independent class- and sample-selective primitives. We evaluated several combinations of existing strategies for selective retrieval and present their performances. Furthermore, we propose a set of strategies to prevent duplicate replays and explore whether new samples with low loss values can be learned without replay. In an effort to match our problem setting to a realistic continual learning pipeline, we restrict our experiments to a setting involving a large, pre-trained, open vocabulary object detection model, which is fully fine-tuned on a sequence of 15 datasets.
• Abstract（参考訳）: 継続的学習における最も広く使われているアプローチの1つは、リプレイと呼ばれる。 リプレイ手法は、過去の体験をリプレイバッファに格納することで、インターリーブドラーニングをサポートする。 バッファを選択的に構築し、その内容を再処理する方法は存在するが、バッファからサンプルを選択的に取り出すという問題については限定的な検討がなされている。 現在のソリューションは限定的な設定でテストされている。 既存の作業は、重複したリプレイがパフォーマンスに与える影響についても調査していない。 本研究では, 単純, 独立なクラス選択プリミティブとサンプル選択プリミティブによって分類された選択的検索戦略を評価するためのフレームワークを提案する。 選択検索のための既存手法の組合せを評価し,その性能について検討した。 さらに,重複したリプレイを防止し,損失値の低い新しいサンプルを再生せずに学習できるかどうかを探索する戦略を提案する。 問題設定を現実的な連続的な学習パイプラインに合わせるために、我々は実験を、15のデータセットのシーケンスで完全に微調整された、大規模で訓練済みのオープンな語彙オブジェクト検出モデルを含む設定に制限する。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Class-Wise Buffer Management for Incremental Object Detection: An Effective Buffer Training Strategy [11.109975137910881]
  クラスインクリメンタル学習は、既存のモデルに目に見えないクラスインスタンスを継続的に追加する際に発生する問題を解決することを目的としている。 オブジェクト検出に最適化されたリプレイバッファを生成する効果的なバッファトレーニング戦略(eBTS)を導入する。
  論文  参考訳（メタデータ） (2023-12-14T17:10:09Z)
• Primal Dual Continual Learning: Balancing Stability and Plasticity through Adaptive Memory Allocation [86.8475564814154]
  制約付き最適化問題を直接実行することは可能かつ有益であることを示す。 メモリベースのメソッドでは、以前のタスクからのサンプルの小さなサブセットをリプレイバッファに格納できる。 両変数は,制約摂動に対する連続学習問題の最適値の感度を示す。
  論文  参考訳（メタデータ） (2023-09-29T21:23:27Z)
• OER: Offline Experience Replay for Continual Offline Reinforcement Learning [25.985985377992034]
  エージェントには、事前にコンパイルされたオフラインデータセットのシーケンスを通じて、新たなスキルを継続的に学習することが望ましい。 本稿では、エージェントが一連のオフライン強化学習タスクを学習する、新しい設定である連続オフライン強化学習(CORL)を定式化する。 本稿では,リプレイバッファを構築するためのモデルベースエクスペリエンス選択手法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T08:16:44Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)
• Distilled Replay: Overcoming Forgetting through Synthetic Samples [11.240947363668242]
  リプレイ戦略は、過去の経験からパターンのバッファを保持することで破滅的な忘れを緩和する継続的学習技術である。 この研究は、非常に小さなバッファを維持して忘れを緩和できる、連続学習のための新しいリプレイ戦略である蒸留リプレイを紹介している。 データセットからランダムにパターンを抽出したnaive replayに対する蒸留リプレイの有効性を,4つの一般的な連続学習ベンチマークで示す。
  論文  参考訳（メタデータ） (2021-03-29T18:02:05Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。